Merge pull request #41 from political-memory/fix-fr-comm

Fix FR committees

representatives/contrib/francedata/tests/representatives_expected.json

@@ -299,7 +299,7 @@
     "fields": {
         "name": "Commission des lois constitutionnelles, de la l\u00e9gislation et de l'administration g\u00e9n\u00e9rale de la r\u00e9publique",
         "kind": "committee",
-        "abbreviation": "AnComLois",
+        "abbreviation": "Lois",
         "chamber": 2
     },
     "model": "representatives.group",
@@ -389,7 +389,7 @@
     "fields": {
         "name": "Commission de la culture, de l'\u00e9ducation et de la communication",
         "kind": "committee",
-        "abbreviation": "SenComCult",
+        "abbreviation": "Culture",
         "chamber": 3
     },
     "model": "representatives.group",

representatives/contrib/francedata/variants.py

@@ -27,7 +27,12 @@ class DelegationHelper:
             orga = g['organisme']
             role = g['fonction']
 
-            if self.committees != orga.lower().startswith('commission'):
+            is_committee = orga.lower().startswith('commission') and not (
+                orga.lower().startswith(u'commission spéciale') or
+                orga.lower().startswith(u'commission d\'enquête')
+            )
+
+            if self.committees != is_committee:
                 continue
 
             if orga in self.equivs:
@@ -67,37 +72,29 @@ _get_sen_committees = DelegationHelper({
             u"l'équipement et de l'aménagement du territoire")
 }, {
     u"Commission de la culture, de l'éducation et de la communication":
-        "SenComCult",
-    u"Commission des affaires économiques": "SenComEco",
+        "Culture",
+    u"Commission des affaires économiques": "Économie",
     u"Commission des affaires étrangères, de la défense et des forces armées":
-        "SenComDef",
-    u"Commission des affaires européennes": "SenComEU",
-    u"Commission des affaires sociales": "SenComSoc",
+        "Défense",
+    u"Commission des affaires européennes": "Europe",
+    u"Commission des affaires sociales": "Social",
     (u"Commission des finances, du contrôle budgétaire et des comptes "
-        u"économiques de la nation"): "SenComFin",
+        u"économiques de la nation"): "Finances",
     (u"Commission des lois constitutionnelles, de législation, du suffrage "
-        u"universel, du Règlement et d'administration générale"): "SenComLois",
-    (u"Commission du développement durable, des infrastructures, de "
-        u"l'équipement et de l'aménagement du territoire"): "SenComDevD",
-    u"Commission sénatoriale pour le contrôle de l'application des lois":
-        "SenComAppL"
+        u"universel, du Règlement et d'administration générale"): "Lois",
 })
 
 _get_an_committees = DelegationHelper({}, {
-    (u"Commission chargée de l'application de l'article 26 de la "
-        u"constitution"): "AnComImmu",
-    u"Commission de la défense nationale et des forces armées": "AnComDef",
-    u"Commission des affaires culturelles et de l'éducation": "AnComCult",
-    u"Commission des affaires économiques": "AnComEco",
-    u"Commission des affaires étrangères": "AnComEtrg",
-    u"Commission des affaires européennes": "AnComEU",
-    u"Commission des affaires sociales": "AnComSoc",
+    u"Commission de la défense nationale et des forces armées": "Défense",
+    u"Commission des affaires culturelles et de l'éducation": "Culture",
+    u"Commission des affaires économiques": "Économie",
+    u"Commission des affaires étrangères": "Étranger",
+    u"Commission des affaires européennes": "Europe",
+    u"Commission des affaires sociales": "Social",
     (u"Commission des finances, de l'économie générale et du contrôle "
-        u"budgétaire"): "AnComFin",
+        u"budgétaire"): "Finances",
     (u"Commission des lois constitutionnelles, de la législation et de "
-        u"l'administration générale de la république"): "AnComLois",
-    u"Commission du développement durable et de l'aménagement du territoire":
-        "AnComDevD"
+        u"l'administration générale de la république"): "Lois"
 })
 
 _get_sen_delegations = DelegationHelper({}, {}, False)

representatives/migrations/0021_update_fr_committees.py

+# -*- coding: utf-8 -*-
+from __future__ import unicode_literals
+
+from django.db import migrations, models
+
+
+def update_kinds(apps, schema_editor):
+    """
+    Downgrade FR special committees to delegations
+    """
+
+    # Get model managers
+    Group = apps.get_model("representatives", "Group")
+
+    qs = Group.objects.filter(
+        models.Q(name__iregex=ur'^commission d\'enquête') |
+        models.Q(name__iregex=ur'^commission spéciale')
+    )
+
+    for g in qs:
+        g.kind = 'delegation'
+        g.save()
+
+
+def update_abbreviations(apps, schema_editor):
+    """
+    Migrate to new FR committee abbreviations
+    """
+
+    # Get model managers
+    Group = apps.get_model("representatives", "Group")
+
+    # Abbreviation mapping
+    amap = {
+        u'SenComCult': u'Culture',
+        u'SenComEco': u'Économie',
+        u'SenComDef': u'Défense',
+        u'SenComEU': u'Europe',
+        u'SenComSoc': u'Social',
+        u'SenComFin': u'Finances',
+        u'SenComLois': u'Lois',
+        u'SenComDevD': u'',
+        u'SenComAppL': u'',
+        u'AnComCult': u'Culture',
+        u'AnComEco': u'Économie',
+        u'AnComEtrg': u'Étranger',
+        u'AnComDef': u'Défense',
+        u'AnComEU': u'Europe',
+        u'AnComSoc': u'Social',
+        u'AnComFin': u'Finances',
+        u'AnComLois': u'Lois',
+        u'AnComDevD': u'',
+        u'AnComImmu': u'',
+    }
+
+    for old, new in amap.iteritems():
+        for g in Group.objects.filter(abbreviation=old):
+            g.abbreviation = new
+            g.save()
+
+
+class Migration(migrations.Migration):
+
+    dependencies = [
+        ('representatives', '0020_rep_unique_slug_remove_remoteid'),
+    ]
+
+    operations = [
+        migrations.RunPython(update_kinds),
+
+        migrations.RunPython(update_abbreviations),
+    ]