Skip to content
Extraits de code Groupes Projets
Valider 07e02e60 rédigé par Bastien Le Querrec's avatar Bastien Le Querrec
Parcourir les fichiers

RAAspotter: relance la requête en cas de timeout

parent c41db1c8
Aucune branche associée trouvée
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
......@@ -374,9 +374,9 @@ class RAAspotter:
page = None
if method == 'get':
page = self.session.get(url)
page = self.session.get(url, timeout=(10, 120))
if method == 'post':
page = self.session.post(url, data=data)
page = self.session.post(url, data=data, timeout=(10, 120))
if page.status_code == 429:
logger.warning('Erreur 429 Too Many Requests reçue, temporisation...')
......@@ -396,6 +396,9 @@ class RAAspotter:
self.tor_get_new_id()
time.sleep(55)
return self.get_page(url, method, data)
except requests.exceptions.Timeout:
logger.warning(f'Timeout, on relance la requête...')
return self.get_page(url, method, data)
def update_user_agent(self, user_agent):
self.user_agent = user_agent
......
0% Chargement en cours ou .
You are about to add 0 people to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Veuillez vous inscrire ou vous pour commenter