README.md

@@ -16,7 +16,7 @@ source bin/activate
 pip3 install -r requirements.txt
 ```
 
-Vous devez avoir installé OCRmyPDF, les données `eng` et `fra` de Tesseract, et le démon Tor.
+Vous devez avoir installé les données `eng` et `fra` de Tesseract et le démon Tor.
 
 ## Utilisation
 
@@ -37,7 +37,7 @@ Les options suivantes peuvent être précisées, par un paramètre si l'utilitai
 | CLI | Variable d'environnement | Signification | Valeur par défaut |
 |---|---|---|---|
 | `--keywords`, `-k` | `KEYWORDS` | Liste des mots-clés recherchés, séparés par une virgule. | Aucune |
-| `--not-before` | `NOT_BEFORE` | Date (format YYYY-MM-DD) avant laquelle les RAA ne sont pas analysés. | `2024-01-01` |
+| `--not-before` | `NOT_BEFORE` | Date (format relatif `1 week` ou `YYYY-MM-DD`) avant laquelle les RAA ne sont pas analysés. | `2024-01-01` |
 | `--smtp-hostname` | `SMTP_HOSTNAME` | Nom d'hôte SMTP. | `localhost` |
 | `--smtp-username` | `SMTP_USERNAME` | Nom d'utilisateur SMTP. | Aucun |
 | `--smtp-password` | `SMTP_PASSWORD` | Mot de passe SMTP. | Aucun |
@@ -52,32 +52,85 @@ Les options suivantes peuvent être précisées, par un paramètre si l'utilitai
 | `-v` | `VERBOSE` | Si spécifié, relève le niveau de verbosité à INFO. | Non-spécifié |
 | `-vv` | `VVERBOSE` | Si spécifié, relève le niveau de verbosité à DEBUG. | Non-spécifié |
 
+Vous pouvez également activer le safe mode en spécifiant la variable d'environnement `SAFE_MODE`. Cela désactive Tor et limite les requêtes à une toutes les 30 secondes. Cette option ne doit être utilisée qu'en cas de blocage généralisé de Tor. Attention : avec le safe mode, la CI se connecte directement au serveur, et son IP risque d'être bloquée si trop de requêtes sont lancées. Pensez donc à limiter le nombre de jobs qui s'exécutent en parallèle si vous devez activer ce mode. Les requêtes via Selenium ne sont pas impactées par le safe mode.
+
 ## Administrations supportées
 
 - Préfecture de police de Paris (identifiant : `ppparis`)
+- Préfecture de l'Ain (identifiant : `pref01`)
+- Préfecture de l'Aisne (identifiant : `pref02`)
+- Préfecture de l'Allier (identifiant : `pref03`)
 - Préfecture des Alpes-de-Haute-Provence (identifiant : `pref04`)
 - Préfecture des Hautes-Alpes (identifiant : `pref05`)
 - Préfecture des Alpes-Maritimes (identifiant : `pref06`)
 - Préfecture de l'Ariège (identifiant : `pref09`)
+- Préfecture de l'Aube (identifiant : `pref10`)
+- Préfecture de l'Aude (identifiant : `pref11`)
 - Préfecture des Bouches-du-Rhône (identifiant : `pref13`)
+- Préfecture de la Corse-du-Sud (identifiant : `pref2a`)
+- Préfecture de Haute-Corse (identifiant : `pref2b`)
+- Préfecture du Doubs (identifiant : `pref25`)
+- Préfecture du Finistère (identifiant : `pref29`)
+- Prefecture du Gard (identifiant : `pref30`)
 - Préfecture de la Haute-Garonne (identifiant : `pref31`)
 - Préfecture de la Gironde (identifiant : `pref33`)
 - Préfecture de l'Hérault (identifiant : `pref34`)
 - Préfecture d'Ille-et-Vilaine (identifiant : `pref35`)
 - Préfecture de l'Isère (identifiant : `pref38`)
+- Préfecture du Jura (identifiant : `pref39`)
 - Préfecture de la Loire (identifiant : `pref42`)
 - Préfecture de la Loire-Atlantique (identifiant : `pref44`)
+- Préfecture de Maine-et-Loire (identifiant : `pref49`)
+- Préfecture de la Manche (identifiant : `pref50`)
+- Préfecture de la Haute-Marne (identifiant : `pref52`)
+- Préfecture de Meurthe-et-Moselle (identifiant : `pref54`)
+- Préfecture de la Meuse (identifiant : `pref55`)
 - Préfecture du Nord (identifiant : `pref59`)
+- Préfecture de l'Orne (identifiant : `pref61`)
 - Préfecture du Pas-de-Calais (identifiant : `pref62`)
+- Préfecture du Puy-de-Dôme (identifiant : `pref63`)
 - Préfecture des Pyrénées-Atlantiques (identifiant : `pref64`)
 - Préfecture des Hautes-Pyrénées (identifiant : `pref65`)
 - Préfecture des Pyrénées-Orientales (identifiant : `pref66`)
 - Préfecture du Rhône (identifiant : `pref69`)
+- Préfecture de la Savoie (identifiant : `pref73`)
+- Préfecture de la Haute-Savoie (identifiant : `pref74`)
+- Préfecture de Paris (identifiant : `pref75`)
+- Préfecture de la Seine-Maritime (identifiant : `pref76`)
+- Préfecture de Seine-et-Marne (identifiant : `pref77`)
 - Préfecture de la Somme (identifiant : `pref80`)
 - Préfecture du Tarn (identifiant : `pref81`)
 - Préfecture du Var (identifiant : `pref83`)
 - Préfecture de la Haute-Vienne (identifiant : `pref87`)
+- Préfecture de l'Essonne (identifiant : `pref91`)
+- Préfecture des Hauts-de-Seine (identifiant : `pref92`)
+- Préfecture de Seine-Saint-Denis (identifiant : `pref93`)
+- Préfecture du Val-de-Marne (identifiant : `pref94`)
 - Préfecture de Mayotte (identifiant : `pref976`)
+- Préfecture de la région Bretagne (identifiant : `prefbretagne`)
+- Préfecture de la région Île-de-France (identifiant : `prefidf`)
+- Préfecture de la région Provence-Alpes-Côte-d'Azur (identifiant : `prefpaca`)
+
+## Contributions
+
+Les contributions à ce projet sont les bienvenues !
+
+Chaque administration est gérée par un fichier dont le nom correspond à son identifiant (`Attrap_XXX.py`). Commencez par copier un de ces fichiers puis adaptez son code à l'administration que vous voulez ajouter. Il est impératif de lancer le moins de requêtes possibles vers le site de l'administration : lorsqu'une administration a une page par année ou par mois, ne lancez une requête que vers les pages qui correspondent à la plage temporelle demandée dans la valeur de configuration `NOT_BEFORE`.
+
+Vous pouvez lancer la commande suivante pour connaître fonctions disponibles pour récupérer les RAA sur le site d'une administration :
+
+```
+bin/python -m pydoc Attrap
+```
+
+Avant d'ouvrir une merge request, assurez-vous que :
+- l'administration est activée dans `cli.py` et dans `Makefile` ;
+- il existe un job dans la CI (`.gitlab-ci.yml`) pour l'administration ;
+- le fichier de README indique que la nouvelle administration est supportée ;
+- vous n'avez qu'un seul commit par nouvelle préfecture (sinon, il faut faire un squash), de la forme `identifiant_de_l'administration: ajout de nom_complet_de_l'administration` ;
+- `make lint` ne renvoie pas d'erreur.
+
+Vous pouvez rejoindre le salon de discussion Matrix du projet : `#Attrap:laquadrature.net`.
 
 ## Licence
 

cli.py

+#!/usr/bin/env python3
+
 import os
 import argparse
 import logging
 import datetime
+import dateparser
 import importlib
 
 from Attrap import Attrap
@@ -27,9 +30,13 @@ if os.getenv('SMTP_SSL'):
 else:
     __SMTP_SSL = False
 if os.getenv('NOT_BEFORE'):
-    __NOT_BEFORE = datetime.datetime.strptime(
-        os.getenv('NOT_BEFORE'), '%Y-%m-%d'
-    )
+    try:
+        relative_date = dateparser.parse(os.getenv('NOT_BEFORE'))
+        __NOT_BEFORE = datetime.datetime(year=relative_date.year, month=relative_date.month, day=relative_date.day)
+    except Exception as exc:
+        __NOT_BEFORE = datetime.datetime.strptime(
+            os.getenv('NOT_BEFORE'), '%Y-%m-%d'
+        )
 else:
     __NOT_BEFORE = datetime.datetime(2024, 1, 1)
 __MASTODON_ACCESS_TOKEN = os.getenv('MASTODON_ACCESS_TOKEN')
@@ -38,30 +45,59 @@ __MASTODON_INSTANCE = os.getenv('MASTODON_INSTANCE')
 # Liste des administrations supportées
 available_administrations = [
     'ppparis',
+    'pref01',
+    'pref02',
+    'pref03',
     'pref04',
     'pref05',
     'pref06',
     'pref09',
+    'pref10',
+    'pref11',
     'pref13',
+    'pref2a',
+    'pref2b',
+    'pref25',
+    'pref29',
+    'pref30',
     'pref31',
     'pref33',
     'pref34',
     'pref35',
     'pref38',
+    'pref39',
     'pref42',
     'pref44',
+    'pref49',
+    'pref50',
+    'pref52',
+    'pref54',
+    'pref55',
     'pref59',
+    'pref61',
     'pref62',
     'pref63',
     'pref64',
     'pref65',
     'pref66',
     'pref69',
+    'pref73',
+    'pref74',
+    'pref75',
+    'pref76',
+    'pref77',
     'pref80',
     'pref81',
     'pref83',
     'pref87',
-    'pref976'
+    'pref91',
+    'pref92',
+    'pref93',
+    'pref94',
+    'pref976',
+    'prefbretagne',
+    'prefidf',
+    'prefpaca'
 ]
 
 # Début du script
@@ -158,7 +194,7 @@ parser.add_argument(
 )
 args = parser.parse_args()
 
-if args.v or os.getenv('VERBOSE'):
+if (args.v or os.getenv('VERBOSE')) and not args.vv and not os.getenv('VVERBOSE'):
     logging.basicConfig(level=logging.INFO)
     logging.getLogger("stem").setLevel(logging.WARNING)
 
@@ -170,7 +206,11 @@ if args.keywords:
     __KEYWORDS = args.keywords
 
 if args.not_before:
-    __NOT_BEFORE = datetime.datetime.strptime(args.not_before, '%Y-%m-%d')
+    try:
+        relative_date = dateparser.parse(args.not_before)
+        __NOT_BEFORE = datetime.datetime(year=relative_date.year, month=relative_date.month, day=relative_date.day)
+    except Exception as exc:
+        __NOT_BEFORE = datetime.datetime.strptime(args.not_before, '%Y-%m-%d')
 
 if args.smtp_hostname:
     __SMTP_HOSTNAME = args.smtp_hostname

misc/download-all-from-s3.sh

+#!/usr/bin/env bash
+
+set -e
+
+s3_key="${1}"
+s3_secret="${2}"
+s3_host="${3}"
+s3_bucket="${4}"
+dest="${5}"
+
+root_path=$(dirname $(realpath "${BASH_SOURCE[0]}"))
+
+administrations="ppparis
+pref01
+pref02
+pref03
+pref04
+pref05
+pref06
+pref07
+pref08
+pref09
+pref10
+pref11
+pref12
+pref13
+pref14
+pref15
+pref16
+pref17
+pref18
+pref19
+pref2a
+pref2b
+pref21
+pref22
+pref23
+pref24
+pref25
+pref26
+pref27
+pref28
+pref29
+pref30
+pref31
+pref32
+pref33
+pref34
+pref35
+pref36
+pref37
+pref38
+pref39
+pref40
+pref41
+pref42
+pref43
+pref44
+pref45
+pref46
+pref47
+pref49
+pref49
+pref50
+pref51
+pref52
+pref53
+pref54
+pref55
+pref56
+pref57
+pref58
+pref59
+pref60
+pref61
+pref62
+pref63
+pref64
+pref65
+pref66
+pref67
+pref68
+pref69
+pref70
+pref71
+pref72
+pref73
+pref74
+pref75
+pref76
+pref77
+pref78
+pref79
+pref80
+pref81
+pref82
+pref83
+pref84
+pref85
+pref86
+pref87
+pref88
+pref89
+pref90
+pref91
+pref92
+pref93
+pref94
+pref95
+pref971
+pref972
+pref973
+pref974
+pref976
+prefidf
+prefpaca"
+
+if test -z "$s3_key" || test -z "$s3_secret" || test -z "$s3_host" || test -z "$s3_bucket" || test -z "$dest"; then
+	echo "Usage: ${0} <s3_key> <s3_secret> <s3_host> <s3_bucket> <dest>"
+	exit 1
+fi
+
+for i in $administrations; do
+	${root_path}/download-from-s3.sh "${i}" "$s3_key" "$s3_secret" "$s3_host" "$s3_bucket" "$dest" || true
+	rm "${dest}/${i}.zip" || true
+done

requirements.txt

 beautifulsoup4>=4.12.3
 dateparser>=1.2.0
+ftfy>=6.2.0
 Mastodon.py>=1.8.1
+ocrmypdf<16.4.0
 pycodestyle>=2.11.1
 pypdf>=4.2.0
+pytz>=2024.2
 PyVirtualDisplay>=3.0
 requests>=2.31.0
 selenium>=4.19.0
-stem>=1.8.2