From 3dd3f4289456f7cb218e396df325b17346003dc4 Mon Sep 17 00:00:00 2001
From: Bastien Le Querrec <blq@laquadrature.net>
Date: Tue, 7 Jan 2025 01:33:02 +0100
Subject: [PATCH] pref38: utilise prefdpt
---
Attrap_pref38.py | 123 +++++++----------------------------------------
1 file changed, 18 insertions(+), 105 deletions(-)
diff --git a/Attrap_pref38.py b/Attrap_pref38.py
index d60f367..3ade51d 100644
--- a/Attrap_pref38.py
+++ b/Attrap_pref38.py
@@ -1,113 +1,26 @@
-import os
-import datetime
-import logging
+from Attrap_prefdpt import Attrap_prefdpt
-from bs4 import BeautifulSoup
-from urllib.parse import unquote
-from Attrap import Attrap
+class Attrap_pref38(Attrap_prefdpt):
-logger = logging.getLogger(__name__)
-
-
-class Attrap_pref38(Attrap):
-
- # Config
+ # Configuration de la préfecture
hostname = 'https://www.isere.gouv.fr'
- raa_page = [
- f'{hostname}/Publications/RAA-Recueil-des-actes-administratifs',
- f'{hostname}/Publications/RAA-Recueil-des-actes-administratifs/Archives'
- ]
- user_agent = 'Mozilla/5.0 (Windows NT 10.0; rv:109.0) Gecko/20100101 Firefox/115.0'
+ raa_page = f'{hostname}/Publications/RAA-Recueil-des-actes-administratifs'
full_name = 'Préfecture de l\'Isère'
short_code = 'pref38'
timezone = 'Europe/Paris'
- def __init__(self, data_dir):
- super().__init__(data_dir, self.user_agent)
- self.set_sleep_time(30)
-
- def get_raa(self, keywords):
- pages_to_parse = []
-
- # On cherche les pages d'années. Elles sont mélangées dans des blocs de cartes grises et des blocs blancs avec pager
- for page in self.raa_page:
- page_content = self.get_page(page, 'get').content
- # On parse les cartes grises
- cards = self.get_sub_pages(
- page_content,
- '.fr-card.fr-card--sm.fr-card--grey.fr-enlarge-link div.fr-card__body div.fr-card__content h2.fr-card__title a',
- self.hostname,
- False
- )[::-1]
- for card in cards:
- year = Attrap.guess_date(card['name'].strip(), '.*([0-9]{4})').year
- if year >= self.not_before.year and year < 9999:
- pages_to_parse.append(card['url'])
- # On parse les blocs blancs
- blocks = self.get_sub_pages_with_pager(
- page_content,
- 'div.fr-card.fr-card--horizontal.fr-card--sm.fr-enlarge-link.fr-mb-3w div.fr-card__body div.fr-card__content h2.fr-card__title a.fr-card__link',
- 'ul.fr-pagination__list li a.fr-pagination__link.fr-pagination__link--next.fr-pagination__link--lg-label',
- None,
- self.hostname
- )
- for block in blocks:
- year = Attrap.guess_date(block['name'].strip(), '.*([0-9]{4})').year
- if year >= self.not_before.year and year < 9999:
- pages_to_parse.append(block['url'])
-
- elements = []
- for raa_page in pages_to_parse:
- page_content = self.get_page(raa_page, 'get').content
- for element in self.get_raa_elements(page_content, raa_page):
- elements.append(element)
-
- self.parse_raa(elements, keywords)
- self.mailer()
-
- def get_raa_elements(self, page_content, raa_page):
- elements = []
- # On charge le parser
- soup = BeautifulSoup(page_content, 'html.parser')
-
- # On récupère le select qui contient la liste des RAA
- select_list = soup.select('select#-liste-docs')[0]
- # On analyse chaque résultat
- for option in select_list.find_all('option'):
- if not option['value'] == "":
- # On estime la date à partir du nom de fichier
- guessed_date = Attrap.guess_date(option['title'], '.* n°[ 0-9]* du ([0-9]*(?:er)? [a-zéû]* [0-9]*)')
-
- # Si la date estimée correspond à la plage d'analyse, on
- # demande au serveur les détails du RAA
- if guessed_date >= self.not_before:
- page_content = self.get_page(
- raa_page,
- 'post',
- {
- '-liste-docs': option['value']
- }
- ).content
-
- # On parse la page de détails pour obtenir les propriétés
- # du RAA
- soup = BeautifulSoup(page_content, 'html.parser')
- a = soup.select('div.liste_deroulante a.fr-link.fr-link--download')[0]
-
- # Si la page contient une balise a qui renvoie vers un pdf,
- # c'est qu'on a obtenu les détails du RAA demandé, donc
- # on le parse
- if a.get('href') and a['href'].endswith('.pdf'):
- if a['href'].startswith('/'):
- url = f"{self.hostname}{a['href']}"
- else:
- url = a['href']
-
- url = unquote(url)
- name = a.find('span').previous_sibling.replace('Télécharger ', '').strip()
- date = datetime.datetime.strptime(a.find('span').get_text().split(' - ')[-1].strip(), '%d/%m/%Y')
-
- raa = Attrap.RAA(url, date, name, timezone=self.timezone)
- elements.append(raa)
- return elements
+ # Configuration des widgets à analyser
+ year_regex = '(?:(?:[Rr]ecueils{0,1} des [Aa]ctes [Aa]dministratifs de la [Pp]réfecture de l\'Isère[ -]*)|(?:Année ))([0-9]{4})'
+ Attrap_prefdpt.grey_card['regex']['year'] = year_regex
+ Attrap_prefdpt.white_card['regex']['year'] = year_regex
+ Attrap_prefdpt.white_card['exclude'] = ['Vous recherchez "Le Journal officiel de la République française" ?']
+
+ # On ajoute un widget de menu déroulant
+ Attrap_prefdpt.select_widgets.append(
+ Attrap_prefdpt.DptSelectWidget(
+ 'menu_deroulant',
+ regex='.*([0-9]*(?:er|ER)? [A-Za-zéÉûÛ]* [0-9]*)',
+ css_path='select#-liste-docs'
+ )
+ )
\ No newline at end of file
--
GitLab