From 7b7a584df4fa62f800380f12a00d804f17e8f6dd Mon Sep 17 00:00:00 2001 From: Bastien Le Querrec <blq@laquadrature.net> Date: Fri, 5 Apr 2024 03:04:58 +0200 Subject: [PATCH] =?UTF-8?q?pref66:=20ajout=20de=20la=20pr=C3=A9fecture=20d?= =?UTF-8?q?es=20Pyr=C3=A9n=C3=A9es-Orientales?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .gitlab-ci.yml | 5 ++ Makefile | 4 +- RAAspotter_pref66.py | 139 +++++++++++++++++++++++++++++++++++++++++++ README.md | 1 + cli.py | 1 + 5 files changed, 149 insertions(+), 1 deletion(-) create mode 100644 RAAspotter_pref66.py diff --git a/.gitlab-ci.yml b/.gitlab-ci.yml index 6792ebd..060db3e 100644 --- a/.gitlab-ci.yml +++ b/.gitlab-ci.yml @@ -152,6 +152,11 @@ test_pref65: PREF: "pref65" extends: .default_pref +test_pref66: + variables: + PREF: "pref66" + extends: .default_pref + test_pref69: variables: PREF: "pref69" diff --git a/Makefile b/Makefile index 643d7e2..5f8f8e3 100644 --- a/Makefile +++ b/Makefile @@ -1,4 +1,4 @@ -make: ppparis pref04 pref06 pref09 pref13 pref34 pref35 pref38 pref59 pref62 pref65 pref69 pref81 pref83 pref976 +make: ppparis pref04 pref06 pref09 pref13 pref34 pref35 pref38 pref59 pref62 pref65 pref66 pref69 pref81 pref83 pref976 ppparis: python cli.py --pref ppparis pref04: @@ -21,6 +21,8 @@ pref62: python cli.py --pref pref62 pref65: python cli.py --pref pref65 +pref66: + python cli.py --pref pref66 pref69: python cli.py --pref pref69 pref81: diff --git a/RAAspotter_pref66.py b/RAAspotter_pref66.py new file mode 100644 index 0000000..a2f4277 --- /dev/null +++ b/RAAspotter_pref66.py @@ -0,0 +1,139 @@ +import os +import sys +import datetime +import logging + +from bs4 import BeautifulSoup +from urllib.parse import unquote + +from RAAspotter import RAAspotter + +logger = logging.getLogger(__name__) + + +class RAAspotter_pref66(RAAspotter): + + # Config + __HOST = 'https://www.pyrenees-orientales.gouv.fr' + __RAA_PAGE = { + '2024': f'{__HOST}/Publications/Le-recueil-des-actes-administratifs/Annee-2024', + '2023': f'{__HOST}/Publications/Le-recueil-des-actes-administratifs/Annee-2023', + '2022': f'{__HOST}/Publications/Le-recueil-des-actes-administratifs/Annee-2022', + '2021': f'{__HOST}/Publications/Le-recueil-des-actes-administratifs/Annee-2021', + '2020': f'{__HOST}/Publications/Le-recueil-des-actes-administratifs/Annee-2020', + '2019': f'{__HOST}/Publications/Le-recueil-des-actes-administratifs/Annee-2019' + } + __USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0' + full_name = 'Préfecture des Pyrénées-Orientales' + short_code = 'pref66' + + def __init__(self, data_dir): + super().__init__(data_dir, self.__USER_AGENT) + self.enable_tor(10) + + def get_raa(self, keywords): + self.print_output('RAAspotter_pref66') + self.print_output(f'Termes recherchés: {keywords}') + self.print_output('') + + elements = [] + + # La préfecture des Pyrénées-Orientales est une originale : avant 2024, + # chaque page annuelle contient l'ensemble des RAA, mais pas tout le + # temps avec leur date, qu'il faut deviner à partir du nom du RAA. + # Mais en 2024, ça change ! La page de 2024 contient un tableau + # récapitulatif avec toutes les dates de publication des RAA, mais + # aussi un pager. Sauf qu'il s'avère que le tableau récapitulatif + # n'est pas exhaustif. On doit donc parser toutes les sous-pages de + # 2024 puisqu'on ne peut se fier au tableau récapitulatif. + # Grrr. + if self.not_before.year <= 2024: + for element in self.get_raa_elements_since_2024(self.__RAA_PAGE['2024']): + elements.append(element) + if self.not_before.year <= 2023: + for element in self.get_raa_elements_before_2024(self.__RAA_PAGE['2023']): + elements.append(element) + if self.not_before.year <= 2022: + for element in self.get_raa_elements_before_2024(self.__RAA_PAGE['2022']): + elements.append(element) + if self.not_before.year <= 2021: + for element in self.get_raa_elements_before_2024(self.__RAA_PAGE['2021']): + elements.append(element) + if self.not_before.year <= 2020: + for element in self.get_raa_elements_before_2024(self.__RAA_PAGE['2020']): + elements.append(element) + if self.not_before.year <= 2019: + for element in self.get_raa_elements_before_2024(self.__RAA_PAGE['2019']): + elements.append(element) + + self.parse_raa(elements, keywords.split(',')) + self.mailer() + + # On parse un lien d'avant 2024 + def get_raa_elements_before_2024(self, page): + elements = [] + page_content = self.get_page(page, 'get').content + soup = BeautifulSoup(page_content, 'html.parser') + for a in soup.select('div.fr-table.fr-table--bordered.list a.fr-link.fr-link--download'): + if a.get('href') and a['href'].endswith('.pdf'): + date = None + try: + # Lorsque la date n'est pas affichée à l'écran, elle est en + # fait cachée dans la propriété "title" du lien + details = '' + if a.find('span'): + details = a.find('span').get_text().split(' - ')[-1].strip() + else: + details = a['title'].split(' - ')[-1].strip() + date = datetime.datetime.strptime(details, '%d/%m/%Y') + except Exception as exc: + logger.error(f'Impossible de trouver de date pour le texte : {text_raw}: {exc}') + sys.exit(1) + + if date >= self.not_before: + url = '' + if a['href'].startswith('/'): + url = f"{self.__HOST}{a['href']}" + else: + url = a['href'] + + url = unquote(url) + name = '' + if a.find('span') and a.find('span').previous_sibling: + name = a.find('span').previous_sibling.replace('Télécharger ', '').strip() + else: + name = a.get_text().replace('Télécharger ', '').strip() + filename = url.split('/')[-1] + + elements.append(RAAspotter.RAA(url, date, name, filename)) + return elements + + # On parse les RAA depuis 2024 + def get_raa_elements_since_2024(self, root_page): + pages = self.get_sub_pages_with_pager( + root_page, + 'div.fr-card__body div.fr-card__content h2.fr-card__title a.fr-card__link', + 'ul.fr-pagination__list li a.fr-pagination__link.fr-pagination__link--next', + 'div.fr-card__body div.fr-card__content div.fr-card__end p.fr-card__detail', + self.__HOST + )[::-1] + + pages_to_parse = [] + elements = [] + + for page in pages: + if not page['url'].endswith('.pdf'): + logger.warning(f"Attention, le lien vers {page['url']} n'est pas bon !") + else: + if page['url'].startswith('/'): + url = f"{self.__HOST}{page['url']}" + else: + url = page['url'] + + url = unquote(url) + name = page['name'].replace('Télécharger ', '').strip() + date = datetime.datetime.strptime(page['details'].replace('Publié le ', '').strip(), '%d/%m/%Y') + filename = url.split('/')[-1] + + elements.append(RAAspotter.RAA(url, date, name, filename)) + return elements diff --git a/README.md b/README.md index abaaf5c..c54e83a 100644 --- a/README.md +++ b/README.md @@ -43,6 +43,7 @@ Il est possible de ne lancer l'analyse que pour une seule administration, avec l - Préfecture du Nord (identifiant : `pref59`) - Préfecture du Pas-de-Calais (identifiant : `pref62`) - Préfecture des Hautes-Pyrénées (identifiant : `pref65`) +- Préfecture des Pyrénées-Orientales (identifiant : `pref66`) - Préfecture du Rhône (identifiant : `pref69`) - Préfecture du Tarn (identifiant : `pref81`) - Préfecture du Var (identifiant : `pref83`) diff --git a/cli.py b/cli.py index 51bff78..80cef67 100755 --- a/cli.py +++ b/cli.py @@ -49,6 +49,7 @@ available_prefs = [ 'pref59', 'pref62', 'pref65', + 'pref66', 'pref69', 'pref81', 'pref83', -- GitLab