From 771ce8693285c4a4556ea7713a7c5351b9080ace Mon Sep 17 00:00:00 2001 From: Bastien Le Querrec <blq@laquadrature.net> Date: Tue, 5 Mar 2024 23:10:23 +0100 Subject: [PATCH] =?UTF-8?q?ppparis:=20r=C3=A9duit=20la=20dur=C3=A9e=20d'at?= =?UTF-8?q?tente=20de=20chargement,=20sauf=20pour=20la=20premi=C3=A8re=20r?= =?UTF-8?q?equ=C3=AAte?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ppparis.py | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/ppparis.py b/ppparis.py index ab64d2c..3790272 100755 --- a/ppparis.py +++ b/ppparis.py @@ -16,7 +16,7 @@ from pdfminer.high_level import extract_text __RAA_PAGE = 'https://www.prefecturedepolice.interieur.gouv.fr/actualites-et-presse/arretes/accueil-arretes' __USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36' __headless_mode = True -__WAITING_TIME = int(os.getenv('WAITING_TIME') or 15) +__WAITING_TIME = int(os.getenv('WAITING_TIME') or 5) __LIST = os.getenv('LIST') or 'vidéoprotection,caméras,captation,aéronef' __DATA_DIR = os.path.dirname(os.path.abspath(__file__))+'/data/ppparis/' @@ -32,7 +32,7 @@ def print_output(data): def get_html(url): browser.get(url) - time.sleep(__WAITING_TIME) + time.sleep(int(__WAITING_TIME*10)) page_content = browser.page_source return page_content @@ -64,7 +64,7 @@ def parse_pdf(filename, name, date): # Début du script parser = argparse.ArgumentParser(prog='ppparis.py', description='Télécharge les RAA de la Préfecture de police de Paris et recherche des mots-clés') parser.add_argument('-n', '--noheadless', action='store_true', help='ne lance pas le navigateur en mode headless (pratique pour débugguer ou en dehors d\'une CI)') -parser.add_argument('-w', '--waiting-time', type=int, action='store', help='délai (en secondes) d\'attente de chargement d\'une page (par défaut : 15)') +parser.add_argument('-w', '--waiting-time', type=int, action='store', help='délai (en secondes) d\'attente de chargement d\'une page, la durée du premier chargement étant cette valeur multipliée par 10 (par défaut : 5)') parser.add_argument('-l', '--list', action='store', help='liste des termes recherchés, séparés par une virgule (par défaut : vidéoprotection,caméras,captation,aéronef)') parser.add_argument('-v', action='store_true', help='relève le niveau de verbosité à INFO') parser.add_argument('-vv', action='store_true', help='relève le niveau de verbosité à DEBUG') -- GitLab