Skip to content
Extraits de code Groupes Projets
Valider f641ba44 rédigé par Bastien Le Querrec's avatar Bastien Le Querrec
Parcourir les fichiers

RAAspotter: ajoute la possibilité de récupérer les détails d'une sous-page

parent 8535b284
Aucune branche associée trouvée
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
......@@ -167,7 +167,7 @@ class RAAspotter:
return sub_pages
def get_sub_pages_with_pager(self, page, sub_page_element, pager_element,
host):
details_element, host):
pages = []
page_content = self.get_page(page, 'get').content
......@@ -176,13 +176,19 @@ class RAAspotter:
# On recherche les sous-pages
sub_pages = soup.select(sub_page_element)
sub_pages_details = soup.select(details_element)
i = 0
for sub_page in sub_pages:
if sub_page.get('href'):
page = {
'url': f"{host}{sub_page['href']}",
'name': sub_page.get_text().strip()
'name': sub_page.get_text().strip(),
'details': ''
}
if details_element is not None:
page['details'] = sub_pages_details[i].get_text().strip()
pages.append(page)
i = i + 1
# On recherche un pager, et si on le trouve on le suit
pager = soup.select(pager_element)
......@@ -191,6 +197,7 @@ class RAAspotter:
f"{host}{pager[0]['href']}",
sub_page_element,
pager_element,
details_element,
host
):
pages.append(sub_page)
......
......@@ -61,6 +61,7 @@ class RAAspotter_pref69(RAAspotter):
'div.fr-card__body div.fr-card__content '
'h2.fr-card__title a.fr-card__link',
"ul.fr-pagination__list li a.fr-pagination__link--next",
None,
self.__HOST)[::-1]
for sub_page in sub_pages:
sub_pages_to_parse.append(sub_page['url'])
......
......@@ -98,6 +98,7 @@ class RAAspotter_pref976(RAAspotter):
'a.fr-card__link',
'ul.fr-pagination__list li '
'a.fr-pagination__link.fr-pagination__link--next',
None,
self.__HOST
)[::-1]
for card_page in card_pages:
......
0% Chargement en cours ou .
You are about to add 0 people to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Veuillez vous inscrire ou vous pour commenter