Skip to content
GitLab
Explorer
Connexion
Navigation principale
Rechercher ou aller à…
Projet
Attrap
Gestion
Activité
Membres
Labels
Programmation
Tickets
Tableaux des tickets
Jalons
Wiki
Code
Requêtes de fusion
Dépôt
Branches
Validations
Étiquettes
Graphe du dépôt
Comparer les révisions
Compilation
Pipelines
Jobs
Planifications de pipeline
Artéfacts
Déploiement
Releases
Registre de conteneur
Aide
Aide
Support
Documentation de GitLab
Comparer les forfaits GitLab
Forum de la communauté
Contribuer à GitLab
Donner votre avis
Conditions générales et politique de confidentialité
Raccourcis clavier
?
Extraits de code
Groupes
Projets
Afficher davantage de fils d'Ariane
La Quadrature du Net
Attrap
Validations
87368076
Valider
87368076
rédigé
il y a 11 mois
par
Bastien Le Querrec
Parcourir les fichiers
Options
Téléchargements
Correctifs
Plain Diff
pref976: optimise le nombre de requête pour obtenir la liste des pages à parser
parent
6368de4a
Aucune branche associée trouvée
Branches contenant la validation
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
Modifications
1
Masquer les modifications d'espaces
En ligne
Côte à côte
Affichage de
1 fichier modifié
RAAspotter_pref976.py
+20
-3
20 ajouts, 3 suppressions
RAAspotter_pref976.py
avec
20 ajouts
et
3 suppressions
RAAspotter_pref976.py
+
20
−
3
Voir le fichier @
87368076
...
...
@@ -45,11 +45,28 @@ class RAAspotter_pref976(RAAspotter):
pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2019
'
])
sub_pages_to_parse
=
[
self
.
__RAA_PAGE
[
'
default
'
]]
# Pour chaque année, on cherche les sous-pages de mois
for
raa_page
in
pages_to_parse
:
page_content
=
self
.
get_page
(
raa_page
,
'
get
'
).
content
sub_pages
=
self
.
get_sub_pages
(
page_content
,
"
:is(.fr-card.fr-card--sm.fr-card--grey.fr-enlarge-link div.fr-card__body div.fr-card__content h2.fr-card__title a,div.fr-card__body div.fr-card__content h2.fr-card__title a.fr-card__link,ul.fr-pagination__list li a.fr-pagination__link.fr-pagination__link--next)
"
,
self
.
__HOST
)[::
-
1
]
for
sub_page
in
sub_pages
:
sub_pages_to_parse
.
append
(
sub_page
)
month_pages
=
self
.
get_sub_pages
(
page_content
,
'
.fr-card.fr-card--sm.fr-card--grey.fr-enlarge-link div.fr-card__body div.fr-card__content h2.fr-card__title a
'
,
self
.
__HOST
,
False
)[::
-
1
]
# Pour chaque mois, on cherche les pages des RAA
for
month_page
in
month_pages
:
sub_pages
=
self
.
get_sub_pages_with_pager
(
month_page
,
'
div.fr-card__body div.fr-card__content h2.fr-card__title a.fr-card__link
'
,
'
ul.fr-pagination__list li a.fr-pagination__link.fr-pagination__link--next
'
,
self
.
__HOST
)[::
-
1
]
for
sub_page
in
sub_pages
:
sub_pages_to_parse
.
append
(
sub_page
)
# On parse les pages contenant des RAA
for
page
in
sub_pages_to_parse
:
page_content
=
self
.
get_page
(
page
,
'
get
'
).
content
raa_elements
=
self
.
get_raa_elements
(
page_content
)
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
Aperçu
0%
Chargement en cours
Veuillez réessayer
ou
joindre un nouveau fichier
.
Annuler
You are about to add
0
people
to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Enregistrer le commentaire
Annuler
Veuillez vous
inscrire
ou vous
se connecter
pour commenter