Skip to content
Extraits de code Groupes Projets
Valider ddfa365b rédigé par Bastien Le Querrec's avatar Bastien Le Querrec
Parcourir les fichiers

RAAspotter: ajout d'un parser de pager

parent 54149447
Aucune branche associée trouvée
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
......@@ -134,6 +134,22 @@ class RAAspotter:
sub_pages.append(url)
return sub_pages
def get_raa_with_pager(self, pages_list, pager_element, host=""):
elements = []
# On parse chaque page passée en paramètre
for page in pages_list:
page_content = self.get_page(page).content
# Pour chaque page, on récupère les PDF
for raa in self.get_raa_elements(page_content):
elements.append(raa)
# On regarde également s'il n'y aurait pas un pager
sub_pages = self.get_sub_pages(page_content, pager_element, host)
for sub_raa in self.get_raa_with_pager(sub_pages, pager_element, host):
elements.append(sub_raa)
return elements
def set_sleep_time(self, sleep_time):
self.sleep_time = sleep_time
......
0% Chargement en cours ou .
You are about to add 0 people to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Veuillez vous inscrire ou vous pour commenter