From 38fb1f4bda20733c7547af858f774fea734972ac Mon Sep 17 00:00:00 2001
From: Bastien Le Querrec <blq@laquadrature.net>
Date: Tue, 19 Mar 2024 16:47:36 +0100
Subject: [PATCH] =?UTF-8?q?pref62:=20ajout=20de=20la=20pr=C3=A9fecture=20d?=
=?UTF-8?q?u=20Pas-de-Calais?=
MIME-Version: 1.0
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: 8bit
---
.gitlab-ci.yml | 28 ++++++++++++
RAAspotter_pref62.py | 88 ++++++++++++++++++++++++++++++++++++
README.md | 1 +
pref62.py | 105 +++++++++++++++++++++++++++++++++++++++++++
4 files changed, 222 insertions(+)
create mode 100644 RAAspotter_pref62.py
create mode 100755 pref62.py
diff --git a/.gitlab-ci.yml b/.gitlab-ci.yml
index b93399f..a8b04f7 100644
--- a/.gitlab-ci.yml
+++ b/.gitlab-ci.yml
@@ -129,6 +129,34 @@ test_pref35:
- output.log
expire_in: 1 hour
+test_pref62:
+ stage: test
+ image: registry.git.laquadrature.net/bastien/raaspotter/base:latest
+ tags:
+ - unprivileged
+ needs: [install]
+ script:
+ - curl --silent --location --output artifacts.zip "${CI_SERVER_PROTOCOL}://${CI_SERVER_HOST}:${CI_SERVER_PORT}/api/v4/projects/${CI_PROJECT_ID}/jobs/artifacts/${CI_COMMIT_BRANCH}/download?job=${CI_JOB_NAME}&job_token=${CI_JOB_TOKEN}" || true
+ - unzip -q artifacts.zip data/pref62/* || true
+ - rm artifacts.zip || true
+ - source bin/activate
+ - /etc/init.d/tor start
+ - python ./pref62.py
+ retry: 2
+ only:
+ - main
+ cache:
+ key: $CI_COMMIT_REF_SLUG
+ paths:
+ - bin/
+ - lib/
+ - pyvenv.cfg
+ artifacts:
+ paths:
+ - data/pref62/*.txt
+ - output.log
+ expire_in: 1 hour
+
test_ppparis:
stage: test
image: registry.git.laquadrature.net/bastien/raaspotter/base:latest
diff --git a/RAAspotter_pref62.py b/RAAspotter_pref62.py
new file mode 100644
index 0000000..7432bed
--- /dev/null
+++ b/RAAspotter_pref62.py
@@ -0,0 +1,88 @@
+import os, sys
+import datetime
+
+from bs4 import BeautifulSoup
+from urllib.parse import unquote
+
+from RAAspotter import RAAspotter
+
+class RAAspotter_pref62(RAAspotter):
+
+ # Config
+ __HOST = 'https://www.pas-de-calais.gouv.fr'
+ __RAA_PAGE = {'2024':
+ [f'{__HOST}/Publications/Recueil-des-actes-administratifs/2024-Recueils-des-actes-administratifs'],
+ '2023':
+ [f'{__HOST}/Publications/Recueil-des-actes-administratifs/2023-Recueils-des-actes-administratifs',
+ f'{__HOST}/Publications/Recueil-des-actes-administratifs/2023-Recueils-speciaux-des-actes-administratifs'],
+ '2022':
+ [f'{__HOST}/Publications/Recueil-des-actes-administratifs/2022-Recueils-des-Actes-Administratifs',
+ f'{__HOST}/Publications/Recueil-des-actes-administratifs/2022-Recueils-Speciaux-des-Actes-Administratifs'],
+ '2021':
+ [f'{__HOST}/Publications/Recueil-des-actes-administratifs/2021-Recueils-des-actes-administratifs',
+ f'{__HOST}/Publications/Recueil-des-actes-administratifs/2021-Recueils-speciaux-des-actes-administratifs'],
+ '2020':
+ [f'{__HOST}/Publications/Recueil-des-actes-administratifs/2020-Recueils-des-actes-administratifs',
+ f'{__HOST}/Publications/Recueil-des-actes-administratifs/2020-Recueils-speciaux-des-actes-administratifs'],
+ '2019':
+ [f'{__HOST}/Publications/Recueil-des-actes-administratifs/2019-Recueil-des-actes-administratifs',
+ f'{__HOST}/Publications/Recueil-des-actes-administratifs/2019-Recueils-speciaux-des-actes-administratifs']}
+ __USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0'
+
+ def __init__(self, data_dir):
+ super().__init__(data_dir, self.__USER_AGENT)
+ self.enable_tor(20)
+
+ def get_raa(self, keywords):
+ self.print_output('RAAspotter_pref62')
+ self.print_output(f'Termes recherchés: {keywords}')
+ self.print_output('')
+
+ pages_to_parse = []
+ if self.not_before.year <= 2024:
+ for page in self.__RAA_PAGE['2024']:
+ pages_to_parse.append(page)
+ if self.not_before.year <= 2023:
+ for page in self.__RAA_PAGE['2023']:
+ pages_to_parse.append(page)
+ if self.not_before.year <= 2022:
+ for page in self.__RAA_PAGE['2022']:
+ pages_to_parse.append(page)
+ if self.not_before.year <= 2021:
+ for page in self.__RAA_PAGE['2021']:
+ pages_to_parse.append(page)
+ if self.not_before.year <= 2020:
+ for page in self.__RAA_PAGE['2020']:
+ pages_to_parse.append(page)
+ if self.not_before.year <= 2019:
+ for page in self.__RAA_PAGE['2019']:
+ pages_to_parse.append(page)
+
+ for raa_page in pages_to_parse:
+ page_content = self.get_page(raa_page).content
+ raa_elements = self.get_raa_elements(page_content)
+ self.parse_raa(raa_elements, keywords.split(','))
+ self.mailer()
+
+ def get_raa_elements(self, page_content):
+ elements = []
+ # On charge le parser
+ soup = BeautifulSoup(page_content, 'html.parser')
+
+ # On récupère le div qui contient la liste des RAA
+ cards = soup.select('div.fr-downloads-group.fr-downloads-group--bordered')[0]
+ # On analyse chaque balise a dans ce div
+ for a in cards.find_all('a', href=True):
+ if a['href'].endswith('.pdf'):
+ if a['href'].startswith('/'):
+ url = f"{self.__HOST}{a['href']}"
+ else:
+ url = a['href']
+
+ name = a.find('span').previous_sibling.replace('Télécharger ', '').strip()
+ date = datetime.datetime.strptime(a.find('span').get_text().split(' - ')[-1].strip(), '%d/%m/%Y')
+ filename = unquote(url.split('/')[-1])
+
+ raa = RAAspotter.RAA(url, date, name, filename)
+ elements.append(raa)
+ return elements[::-1]
diff --git a/README.md b/README.md
index dd22f66..1d518eb 100644
--- a/README.md
+++ b/README.md
@@ -35,6 +35,7 @@ Il est possible de ne lancer l'analyse que pour une seule administration, en lan
- Préfecture des Alpes-Maritimes (`pref06.py`)
- Préfecture des Bouches-du-Rhône (`pref13.py`)
- Préfecture d'Ille-et-Vilaine (`pref35.py`)
+- Préfecture du Pas-de-Calais (`pref62.py`)
- Préfecture de police de Paris (`ppparis.py`)
## Licence
diff --git a/pref62.py b/pref62.py
new file mode 100755
index 0000000..cf1e409
--- /dev/null
+++ b/pref62.py
@@ -0,0 +1,105 @@
+import os
+import argparse
+import logging
+import datetime
+
+from RAAspotter import RAAspotter
+from RAAspotter_pref62 import RAAspotter_pref62
+
+# Config
+__KEYWORDS = os.getenv('KEYWORDS') or 'vidéoprotection,caméras,captation,aéronef'
+__DATA_DIR = os.path.dirname(os.path.abspath(__file__))+'/data/pref62/'
+__SMTP_HOSTNAME = os.getenv('SMTP_HOSTNAME') or 'localhost'
+__SMTP_USERNAME = os.getenv('SMTP_USERNAME') or ''
+__SMTP_PASSWORD = os.getenv('SMTP_PASSWORD') or ''
+__EMAIL_FROM = os.getenv('EMAIL_FROM')
+__EMAIL_TO = os.getenv('EMAIL_TO')
+if os.getenv('SMTP_PORT'):
+ __SMTP_PORT = int(os.getenv('SMTP_PORT'))
+else:
+ __SMTP_PORT = 587
+if os.getenv('SMTP_STARTTLS'):
+ __SMTP_STARTTLS = True
+else:
+ __SMTP_STARTTLS = False
+if os.getenv('SMTP_SSL'):
+ __SMTP_SSL = True
+else:
+ __SMTP_SSL = False
+if os.getenv('NOT_BEFORE'):
+ __NOT_BEFORE = datetime.datetime.strptime(os.getenv('NOT_BEFORE'), '%Y-%m-%d')
+else:
+ __NOT_BEFORE = datetime.datetime(1970, 1, 1)
+__MASTODON_ACCESS_TOKEN = os.getenv('MASTODON_ACCESS_TOKEN')
+__MASTODON_INSTANCE = os.getenv('MASTODON_INSTANCE')
+
+# Début du script
+parser = argparse.ArgumentParser(prog='pref62.py', description='Télécharge les RAA de la préfecture du Pas-de-Calais et recherche des mots-clés')
+parser.add_argument('-k', '--keywords', action='store', help='liste des termes recherchés, séparés par une virgule (par défaut : vidéoprotection,caméras,captation,aéronef)')
+parser.add_argument('--not-before', action='store', help='n\'analyse pas les RAA datant d\'avant la date indiquée, au format YYYY-MM-DD (par défaut : 2024-01-01)')
+parser.add_argument('--smtp-hostname', action='store', help='nom d\'hôte SMTP (par défaut : localhost)')
+parser.add_argument('--smtp-username', action='store', help='nom d\'utilisateur SMTP (par défaut : vide)')
+parser.add_argument('--smtp-password', action='store', help='mot de passe SMTP (par défaut : vide)')
+parser.add_argument('--smtp-port', action='store', help='port SMTP (par défaut : 587)')
+parser.add_argument('--smtp-starttls', action='store_true', help='connexion SMTP avec STARTTLS')
+parser.add_argument('--smtp-ssl', action='store_true', help='connexion SMTP avec SSL')
+parser.add_argument('-f', '--email-from', action='store', help='adresse de courrier électronique expéditrice des notifications')
+parser.add_argument('-t', '--email-to', action='store', help='adresses de courrier électronique destinataires des notifications (séparées par une virgule)')
+parser.add_argument('--mastodon-access-token', action='store', help='jeton d\'accès pour publier sur Mastodon (par défaut : vide)')
+parser.add_argument('--mastodon-instance', action='store', help='URL de l\'instance (doit inclure "http://" ou "https://" ; par défaut : vide)')
+parser.add_argument('-v', action='store_true', help='relève le niveau de verbosité à INFO')
+parser.add_argument('-vv', action='store_true', help='relève le niveau de verbosité à DEBUG')
+args = parser.parse_args()
+
+if args.v or os.getenv('VERBOSE'):
+ logging.basicConfig(level=logging.INFO)
+
+if args.vv or os.getenv('VVERBOSE'):
+ logging.basicConfig(level=logging.DEBUG)
+
+if args.keywords:
+ __KEYWORDS = args.keywords
+
+if args.not_before:
+ __NOT_BEFORE = datetime.datetime.strptime(args.not_before, '%Y-%m-%d')
+
+if args.smtp_hostname:
+ __SMTP_HOSTNAME = args.smtp_hostname
+
+if args.smtp_username:
+ __SMTP_USERNAME = args.smtp_username
+
+if args.smtp_password:
+ __SMTP_PASSWORD = args.smtp_password
+
+if args.smtp_port:
+ __SMTP_PORT = int(args.smtp_port)
+
+if args.smtp_starttls:
+ __SMTP_STARTTLS = True
+
+if args.smtp_ssl:
+ __SMTP_SSL = True
+
+if args.email_from:
+ __EMAIL_FROM = args.email_from
+
+if args.email_to:
+ __EMAIL_TO = args.email_to
+
+if args.mastodon_access_token:
+ __MASTODON_ACCESS_TOKEN = args.mastodon_access_token
+
+if args.mastodon_instance:
+ __MASTODON_INSTANCE = args.mastodon_instance
+
+# On crée le dossier de téléchargement
+os.makedirs(__DATA_DIR, exist_ok=True)
+
+raa_spotter = RAAspotter_pref62(__DATA_DIR)
+raa_spotter.not_before = __NOT_BEFORE
+raa_spotter.configure_mailer(__SMTP_HOSTNAME, __SMTP_USERNAME, __SMTP_PASSWORD, __SMTP_PORT,
+ __SMTP_STARTTLS, __SMTP_SSL, __EMAIL_FROM, __EMAIL_TO,
+ '[RAAspotter] [Préfecture du Pas-de-Calais] Nouveaux éléments trouvés')
+raa_spotter.configure_mastodon(__MASTODON_ACCESS_TOKEN, __MASTODON_INSTANCE, '[Préfecture du Pas-de-Calais]', '#pref62')
+raa_spotter.get_raa(__KEYWORDS)
--
GitLab