Skip to content
GitLab
Explorer
Connexion
Navigation principale
Rechercher ou aller à…
Projet
Attrap
Gestion
Activité
Membres
Labels
Programmation
Tickets
Tableaux des tickets
Jalons
Wiki
Code
Requêtes de fusion
Dépôt
Branches
Validations
Étiquettes
Graphe du dépôt
Comparer les révisions
Compilation
Pipelines
Jobs
Planifications de pipeline
Artéfacts
Déploiement
Releases
Registre de conteneur
Aide
Aide
Support
Documentation de GitLab
Comparer les forfaits GitLab
Forum de la communauté
Contribuer à GitLab
Donner votre avis
Conditions générales et politique de confidentialité
Raccourcis clavier
?
Extraits de code
Groupes
Projets
Afficher davantage de fils d'Ariane
La Quadrature du Net
Attrap
Validations
bcc4bed2
Valider
bcc4bed2
rédigé
il y a 11 mois
par
Bastien Le Querrec
Parcourir les fichiers
Options
Téléchargements
Correctifs
Plain Diff
pref59: ajout de la préfecture du Nord
parent
d573c187
Aucune branche associée trouvée
Branches contenant la validation
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
Modifications
5
Masquer les modifications d'espaces
En ligne
Côte à côte
Affichage de
5 fichiers modifiés
.gitlab-ci.yml
+28
-0
28 ajouts, 0 suppression
.gitlab-ci.yml
Makefile
+3
-1
3 ajouts, 1 suppression
Makefile
RAAspotter_pref59.py
+79
-0
79 ajouts, 0 suppression
RAAspotter_pref59.py
README.md
+1
-0
1 ajout, 0 suppression
README.md
cli.py
+1
-0
1 ajout, 0 suppression
cli.py
avec
112 ajouts
et
1 suppression
.gitlab-ci.yml
+
28
−
0
Voir le fichier @
bcc4bed2
...
...
@@ -157,6 +157,34 @@ test_pref38:
-
output.log
expire_in
:
1 hour
test_pref59
:
stage
:
test
image
:
registry.git.laquadrature.net/bastien/raaspotter/base:latest
tags
:
-
unprivileged
needs
:
[
install
]
script
:
-
curl --silent --location --output artifacts.zip "${CI_SERVER_PROTOCOL}://${CI_SERVER_HOST}:${CI_SERVER_PORT}/api/v4/projects/${CI_PROJECT_ID}/jobs/artifacts/${CI_COMMIT_BRANCH}/download?job=${CI_JOB_NAME}&job_token=${CI_JOB_TOKEN}" ||
true
-
unzip -q artifacts.zip data/pref59/* ||
true
-
rm artifacts.zip ||
true
-
source bin/activate
-
/etc/init.d/tor start
-
python ./cli.py --pref pref59
retry
:
2
only
:
-
main
cache
:
key
:
$CI_COMMIT_REF_SLUG
paths
:
-
bin/
-
lib/
-
pyvenv.cfg
artifacts
:
paths
:
-
data/pref59/*.txt
-
output.log
expire_in
:
1 hour
test_pref62
:
stage
:
test
image
:
registry.git.laquadrature.net/bastien/raaspotter/base:latest
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
Makefile
+
3
−
1
Voir le fichier @
bcc4bed2
make
:
pref06 pref13 pref35 pref38 pref62 ppparis
make
:
pref06 pref13 pref35 pref38
pref59
pref62 ppparis
pref06
:
python cli.py
--pref
pref06
pref13
:
...
...
@@ -7,6 +7,8 @@ pref35:
python cli.py
--pref
pref35
pref38
:
python cli.py
--pref
pref38
pref59
:
python cli.py
--pref
pref59
pref62
:
python cli.py
--pref
pref62
ppparis
:
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
RAAspotter_pref59.py
0 → 100644
+
79
−
0
Voir le fichier @
bcc4bed2
import
os
,
sys
,
re
import
datetime
import
dateparser
import
logging
from
bs4
import
BeautifulSoup
from
urllib.parse
import
unquote
from
RAAspotter
import
RAAspotter
logger
=
logging
.
getLogger
(
__name__
)
class
RAAspotter_pref59
(
RAAspotter
):
# Config
__HOST
=
'
https://www.nord.gouv.fr
'
__RAA_PAGE
=
{
'
2024
'
:
f
'
{
__HOST
}
/Publications/Recueils-des-actes-administratifs/RAA-du-departement-du-Nord/2024
'
,
'
2023
'
:
f
'
{
__HOST
}
/Publications/Recueils-des-actes-administratifs/RAA-du-departement-du-Nord/2023
'
,
'
2022
'
:
f
'
{
__HOST
}
/Publications/Recueils-des-actes-administratifs/RAA-du-departement-du-Nord/2022
'
,
'
2021
'
:
f
'
{
__HOST
}
/Publications/Recueils-des-actes-administratifs/RAA-du-departement-du-Nord/2021
'
,
'
2020
'
:
f
'
{
__HOST
}
/Publications/Recueils-des-actes-administratifs/RAA-du-departement-du-Nord/2020
'
,
'
2019
'
:
f
'
{
__HOST
}
/Publications/Recueils-des-actes-administratifs/RAA-du-departement-du-Nord/2019
'
}
__USER_AGENT
=
'
Mozilla/5.0 (X11; Linux x86_64; rv:109.0) Gecko/20100101 Firefox/115.0
'
full_name
=
'
Préfecture du Nord
'
short_code
=
'
pref59
'
def
__init__
(
self
,
data_dir
):
super
().
__init__
(
data_dir
,
self
.
__USER_AGENT
)
self
.
enable_tor
(
20
)
def
get_raa
(
self
,
keywords
):
self
.
print_output
(
'
RAAspotter_pref59
'
)
self
.
print_output
(
f
'
Termes recherchés:
{
keywords
}
'
)
self
.
print_output
(
''
)
pages_to_parse
=
[]
if
self
.
not_before
.
year
<=
2024
:
pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2024
'
])
if
self
.
not_before
.
year
<=
2023
:
pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2023
'
])
if
self
.
not_before
.
year
<=
2022
:
pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2022
'
])
if
self
.
not_before
.
year
<=
2021
:
pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2021
'
])
if
self
.
not_before
.
year
<=
2020
:
pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2020
'
])
if
self
.
not_before
.
year
<=
2019
:
pages_to_parse
.
append
(
self
.
__RAA_PAGE
[
'
2019
'
])
for
raa_page
in
pages_to_parse
:
page_content
=
self
.
get_page
(
raa_page
,
'
get
'
).
content
sub_pages
=
self
.
get_sub_pages
(
page_content
,
"
div.fr-card__body div.fr-card__content h2.fr-card__title a
"
,
self
.
__HOST
)
for
sub_page
in
sub_pages
[::
-
1
]:
sub_page_content
=
self
.
get_page
(
sub_page
,
'
get
'
).
content
sub_raa_elements
=
self
.
get_raa_elements
(
sub_page_content
)
self
.
parse_raa
(
sub_raa_elements
,
keywords
.
split
(
'
,
'
))
self
.
mailer
()
def
get_raa_elements
(
self
,
page_content
):
elements
=
[]
# On charge le parser
soup
=
BeautifulSoup
(
page_content
,
'
html.parser
'
)
# On récupère chaque balise a
for
a
in
soup
.
select
(
'
a.fr-link.fr-link--download
'
):
if
a
.
get
(
'
href
'
)
and
a
[
'
href
'
].
endswith
(
'
.pdf
'
):
if
a
[
'
href
'
].
startswith
(
'
/
'
):
url
=
f
"
{
self
.
__HOST
}{
a
[
'
href
'
]
}
"
else
:
url
=
a
[
'
href
'
]
url
=
unquote
(
url
)
name
=
a
.
find
(
'
span
'
).
previous_sibling
.
replace
(
'
Télécharger
'
,
''
).
strip
()
date
=
datetime
.
datetime
.
strptime
(
a
.
find
(
'
span
'
).
get_text
().
split
(
'
-
'
)[
-
1
].
strip
(),
'
%d/%m/%Y
'
)
filename
=
url
.
split
(
'
/
'
)[
-
1
]
raa
=
RAAspotter
.
RAA
(
url
,
date
,
name
,
filename
)
elements
.
append
(
raa
)
return
elements
Ce diff est replié.
Cliquez pour l'agrandir.
README.md
+
1
−
0
Voir le fichier @
bcc4bed2
...
...
@@ -35,6 +35,7 @@ Il est possible de ne lancer l'analyse que pour une seule administration, avec l
-
Préfecture des Alpes-Maritimes (identifiant :
`pref06`
)
-
Préfecture des Bouches-du-Rhône (identifiant :
`pref13`
)
-
Préfecture d'Ille-et-Vilaine (identifiant :
`pref35`
)
-
Préfecture du Nord (identifiant :
`pref59`
)
-
Préfecture du Pas-de-Calais (identifiant :
`pref62`
)
-
Préfecture de police de Paris (identifiant :
`ppparis`
)
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
cli.py
+
1
−
0
Voir le fichier @
bcc4bed2
...
...
@@ -39,6 +39,7 @@ available_prefs = [
'
pref13
'
,
'
pref35
'
,
'
pref38
'
,
'
pref59
'
,
'
pref62
'
,
'
ppparis
'
]
...
...
Ce diff est replié.
Cliquez pour l'agrandir.
Aperçu
0%
Chargement en cours
Veuillez réessayer
ou
joindre un nouveau fichier
.
Annuler
You are about to add
0
people
to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Enregistrer le commentaire
Annuler
Veuillez vous
inscrire
ou vous
se connecter
pour commenter