Skip to content
GitLab
Explorer
Connexion
Navigation principale
Rechercher ou aller à…
Projet
Attrap
Gestion
Activité
Membres
Labels
Programmation
Tickets
Tableaux des tickets
Jalons
Wiki
Code
Requêtes de fusion
Dépôt
Branches
Validations
Étiquettes
Graphe du dépôt
Comparer les révisions
Compilation
Pipelines
Jobs
Planifications de pipeline
Artéfacts
Déploiement
Releases
Registre de paquets
Registre de conteneur
Opération
Modules Terraform
Aide
Aide
Support
Documentation de GitLab
Comparer les forfaits GitLab
Forum de la communauté
Contribuer à GitLab
Donner votre avis
Conditions générales et politique de confidentialité
Raccourcis clavier
?
Extraits de code
Groupes
Projets
Afficher davantage de fils d'Ariane
Guinness
Attrap
Validations
78b27074
Valider
78b27074
rédigé
il y a 11 mois
par
Bastien Le Querrec
Parcourir les fichiers
Options
Téléchargements
Correctifs
Plain Diff
pref80: ajout de la préfecture de la Somme
parent
47073f5a
Aucune branche associée trouvée
Branches contenant la validation
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
Modifications
5
Masquer les modifications d'espaces
En ligne
Côte à côte
Affichage de
5 fichiers modifiés
.gitlab-ci.yml
+5
-0
5 ajouts, 0 suppression
.gitlab-ci.yml
Makefile
+3
-1
3 ajouts, 1 suppression
Makefile
RAAspotter_pref80.py
+103
-0
103 ajouts, 0 suppression
RAAspotter_pref80.py
README.md
+1
-0
1 ajout, 0 suppression
README.md
cli.py
+1
-0
1 ajout, 0 suppression
cli.py
avec
113 ajouts
et
1 suppression
.gitlab-ci.yml
+
5
−
0
Voir le fichier @
78b27074
...
...
@@ -172,6 +172,11 @@ test_pref69:
PREF
:
"
pref69"
extends
:
.default_pref
test_pref80
:
variables
:
PREF
:
"
pref80"
extends
:
.default_pref
test_pref81
:
variables
:
PREF
:
"
pref81"
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
Makefile
+
3
−
1
Voir le fichier @
78b27074
make
:
ppparis pref04 pref06 pref09 pref13 pref31 pref34 pref35 pref38 pref59 pref62 pref65 pref66 pref69 pref81 pref83 pref87 pref976
make
:
ppparis pref04 pref06 pref09 pref13 pref31 pref34 pref35 pref38 pref59 pref62 pref65 pref66 pref69
pref80
pref81 pref83 pref87 pref976
ppparis
:
python cli.py
--pref
ppparis
pref04
:
...
...
@@ -29,6 +29,8 @@ pref66:
python cli.py
--pref
pref66
pref69
:
python cli.py
--pref
pref69
pref80
:
python cli.py
--pref
pref80
pref81
:
python cli.py
--pref
pref81
pref83
:
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
RAAspotter_pref80.py
0 → 100644
+
103
−
0
Voir le fichier @
78b27074
import
os
import
datetime
import
logging
from
bs4
import
BeautifulSoup
from
urllib.parse
import
unquote
from
RAAspotter
import
RAAspotter
logger
=
logging
.
getLogger
(
__name__
)
class
RAAspotter_pref80
(
RAAspotter
):
# Config
__HOST
=
'
https://www.somme.gouv.fr
'
__RAA_PAGE
=
{
'
2024
'
:
f
'
{
__HOST
}
/Publications/Recueil-des-actes-administratifs-du-departement-de-la-Somme/Annee-2024
'
,
'
2023
'
:
f
'
{
__HOST
}
/Publications/Recueil-des-actes-administratifs-du-departement-de-la-Somme/Annee-2023
'
,
'
2022
'
:
f
'
{
__HOST
}
/Publications/Recueil-des-actes-administratifs-du-departement-de-la-Somme/Annee-2022
'
,
'
2021
'
:
f
'
{
__HOST
}
/Publications/Recueil-des-actes-administratifs-du-departement-de-la-Somme/Annee-2021
'
,
'
2020
'
:
f
'
{
__HOST
}
/Publications/Recueil-des-actes-administratifs-du-departement-de-la-Somme/Annee-2020
'
,
'
2019
'
:
f
'
{
__HOST
}
/Publications/Recueil-des-actes-administratifs-du-departement-de-la-Somme/Annee-2019
'
}
__USER_AGENT
=
'
Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36
'
full_name
=
'
Préfecture de la Somme
'
short_code
=
'
pref80
'
def
__init__
(
self
,
data_dir
):
super
().
__init__
(
data_dir
,
self
.
__USER_AGENT
)
self
.
enable_tor
(
10
)
def
get_raa
(
self
,
keywords
):
self
.
print_output
(
'
RAAspotter_pref80
'
)
self
.
print_output
(
f
'
Termes recherchés:
{
keywords
}
'
)
self
.
print_output
(
''
)
year_pages_to_parse
=
[]
if
self
.
not_before
.
year
<=
2024
:
year_pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2024
'
])
if
self
.
not_before
.
year
<=
2023
:
year_pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2023
'
])
if
self
.
not_before
.
year
<=
2022
:
year_pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2022
'
])
if
self
.
not_before
.
year
<=
2021
:
year_pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2021
'
])
if
self
.
not_before
.
year
<=
2020
:
year_pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2020
'
])
if
self
.
not_before
.
year
<=
2019
:
year_pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2019
'
])
# Pour chaque page Année, on récupère la liste des RAA
elements
=
[]
for
year_page
in
year_pages_to_parse
:
page_content
=
self
.
get_page
(
year_page
,
'
get
'
).
content
for
element
in
self
.
get_raa_elements
(
page_content
):
elements
.
append
(
element
)
self
.
parse_raa
(
elements
,
keywords
.
split
(
'
,
'
))
self
.
mailer
()
def
get_raa_elements
(
self
,
page_content
):
elements
=
[]
# On charge le parser
soup
=
BeautifulSoup
(
page_content
,
'
html.parser
'
)
# Pour chaque balise a, on regarde si c'est un PDF, et si oui on le
# parse
for
a
in
soup
.
select
(
'
div.fr-text--lead.fr-my-3w p a.fr-link
'
):
if
a
.
get
(
'
href
'
)
and
a
[
'
href
'
].
endswith
(
'
.pdf
'
):
if
a
[
'
href
'
].
startswith
(
'
/
'
):
url
=
f
"
{
self
.
__HOST
}{
a
[
'
href
'
]
}
"
else
:
url
=
a
[
'
href
'
]
url
=
unquote
(
url
)
# On enlève les espaces insécables, les double-espaces, et le texte « Télécharger » de certains liens
name
=
a
.
get_text
().
replace
(
'
Télécharger
'
,
''
).
strip
().
replace
(
u
"
\u00A0
"
,
'
'
).
replace
(
'
'
,
'
'
)
if
name
and
not
name
==
''
:
filename
=
url
.
split
(
'
/
'
)[
-
1
]
# Certains RAA de la Somme ont une ligne avec les détails du fichier. Si cette ligne
# est disponible, on la parse, sinon on devine la date à partir du nom
date
=
None
if
a
.
find
(
'
span
'
):
date
=
datetime
.
datetime
.
strptime
(
a
.
find
(
'
span
'
).
get_text
().
split
(
'
-
'
)[
-
1
].
strip
(),
'
%d/%m/%Y
'
)
else
:
regex
=
'
.* n°.*(?:du)? ([0-9]*(?:er)? [a-zéû]* (?:[0-9]{4}|[0-9]{2}))
'
date
=
RAAspotter
.
guess_date
(
name
,
regex
)
# Parfois, il manque l'année dans le nom du RAA, alors on essaie avec l'année de la page
if
date
.
year
==
9999
:
page_year
=
soup
.
select
(
'
nav.fr-breadcrumb div.fr-collapse ol.fr-breadcrumb__list li a.fr-breadcrumb__link.breadcrumb-item-link
'
)[
-
1
].
get_text
().
replace
(
'
Année
'
,
''
).
strip
()
date
=
RAAspotter
.
guess_date
(
f
'
{
name
}
{
page_year
}
'
,
regex
)
# Parfois, c'est que le fichier n'est pas un RAA mais un arrêté seul
if
date
.
year
==
9999
:
date
=
RAAspotter
.
guess_date
(
name
,
'
([0-9]*(?:er)? [a-zéû]* [0-9]{4})
'
)
if
date
.
year
==
9999
:
logger
.
warning
(
f
'
On ignore
{
name
}
(URL :
{
url
}
)
'
)
else
:
raa
=
RAAspotter
.
RAA
(
url
,
date
,
name
,
filename
)
elements
.
append
(
raa
)
return
elements
[::
-
1
]
Ce diff est replié.
Cliquez pour l'agrandir.
README.md
+
1
−
0
Voir le fichier @
78b27074
...
...
@@ -47,6 +47,7 @@ Il est possible de ne lancer l'analyse que pour une seule administration, avec l
-
Préfecture des Hautes-Pyrénées (identifiant :
`pref65`
)
-
Préfecture des Pyrénées-Orientales (identifiant :
`pref66`
)
-
Préfecture du Rhône (identifiant :
`pref69`
)
-
Préfecture de la Somme (identifiant :
`pref80`
)
-
Préfecture du Tarn (identifiant :
`pref81`
)
-
Préfecture du Var (identifiant :
`pref83`
)
-
Préfecture de la Haute-Vienne (identifiant :
`pref87`
)
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
cli.py
+
1
−
0
Voir le fichier @
78b27074
...
...
@@ -53,6 +53,7 @@ available_prefs = [
'
pref65
'
,
'
pref66
'
,
'
pref69
'
,
'
pref80
'
,
'
pref81
'
,
'
pref83
'
,
'
pref87
'
,
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
Aperçu
0%
Chargement en cours
Veuillez réessayer
ou
joindre un nouveau fichier
.
Annuler
You are about to add
0
people
to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Enregistrer le commentaire
Annuler
Veuillez vous
inscrire
ou vous
se connecter
pour commenter