Skip to content
Extraits de code Groupes Projets
Valider 5e807cee rédigé par Bastien Le Querrec's avatar Bastien Le Querrec
Parcourir les fichiers

RAAspotter: analyse les RAA datant du jour précisé dans la configuration NOT_BEFORE

parent 0919eef8
Aucune branche associée trouvée
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
...@@ -306,7 +306,7 @@ class RAAspotter: ...@@ -306,7 +306,7 @@ class RAAspotter:
for raa in elements: for raa in elements:
# Si le fichier n'a pas déjà été parsé et qu'il est postérieur à la date maximale d'analyse, # Si le fichier n'a pas déjà été parsé et qu'il est postérieur à la date maximale d'analyse,
# on le télécharge et on le parse # on le télécharge et on le parse
if (raa.date > self.not_before) and (not os.path.isfile(f'{self.data_dir}{raa.get_sha256()}.txt')): if (raa.date >= self.not_before) and (not os.path.isfile(f'{self.data_dir}{raa.get_sha256()}.txt')):
url = quote(raa.url, safe='/:') url = quote(raa.url, safe='/:')
logger.info(f'Nouveau fichier : {raa.name} ({raa.date_str}). URL : {url}') logger.info(f'Nouveau fichier : {raa.name} ({raa.date_str}). URL : {url}')
self.download_file(raa) self.download_file(raa)
......
...@@ -30,7 +30,7 @@ class RAAspotter_pref13(RAAspotter): ...@@ -30,7 +30,7 @@ class RAAspotter_pref13(RAAspotter):
self.print_output('') self.print_output('')
for raa_page in self.__RAA_PAGE: for raa_page in self.__RAA_PAGE:
page_content = self.get_page(raa_page).content page_content = self.get_page(raa_page, 'get').content
raa_elements = self.get_raa_elements(page_content) raa_elements = self.get_raa_elements(page_content)
self.parse_raa(raa_elements, keywords.split(',')) self.parse_raa(raa_elements, keywords.split(','))
......
...@@ -30,7 +30,7 @@ class RAAspotter_pref35(RAAspotter): ...@@ -30,7 +30,7 @@ class RAAspotter_pref35(RAAspotter):
self.print_output('') self.print_output('')
for raa_page in self.__RAA_PAGE: for raa_page in self.__RAA_PAGE:
page_content = self.get_page(raa_page).content page_content = self.get_page(raa_page, 'get').content
raa_elements = self.get_raa_elements(page_content) raa_elements = self.get_raa_elements(page_content)
self.parse_raa(raa_elements, keywords.split(',')) self.parse_raa(raa_elements, keywords.split(','))
......
...@@ -61,7 +61,7 @@ class RAAspotter_pref62(RAAspotter): ...@@ -61,7 +61,7 @@ class RAAspotter_pref62(RAAspotter):
pages_to_parse.append(page) pages_to_parse.append(page)
for raa_page in pages_to_parse: for raa_page in pages_to_parse:
page_content = self.get_page(raa_page).content page_content = self.get_page(raa_page, 'get').content
raa_elements = self.get_raa_elements(page_content) raa_elements = self.get_raa_elements(page_content)
self.parse_raa(raa_elements, keywords.split(',')) self.parse_raa(raa_elements, keywords.split(','))
self.mailer() self.mailer()
......
0% Chargement en cours ou .
You are about to add 0 people to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Veuillez vous inscrire ou vous pour commenter