Skip to content
Extraits de code Groupes Projets
Valider 07e02e60 rédigé par Bastien Le Querrec's avatar Bastien Le Querrec
Parcourir les fichiers

RAAspotter: relance la requête en cas de timeout

parent c41db1c8
Aucune branche associée trouvée
Aucune étiquette associée trouvée
Aucune requête de fusion associée trouvée
...@@ -374,9 +374,9 @@ class RAAspotter: ...@@ -374,9 +374,9 @@ class RAAspotter:
page = None page = None
if method == 'get': if method == 'get':
page = self.session.get(url) page = self.session.get(url, timeout=(10, 120))
if method == 'post': if method == 'post':
page = self.session.post(url, data=data) page = self.session.post(url, data=data, timeout=(10, 120))
if page.status_code == 429: if page.status_code == 429:
logger.warning('Erreur 429 Too Many Requests reçue, temporisation...') logger.warning('Erreur 429 Too Many Requests reçue, temporisation...')
...@@ -396,6 +396,9 @@ class RAAspotter: ...@@ -396,6 +396,9 @@ class RAAspotter:
self.tor_get_new_id() self.tor_get_new_id()
time.sleep(55) time.sleep(55)
return self.get_page(url, method, data) return self.get_page(url, method, data)
except requests.exceptions.Timeout:
logger.warning(f'Timeout, on relance la requête...')
return self.get_page(url, method, data)
def update_user_agent(self, user_agent): def update_user_agent(self, user_agent):
self.user_agent = user_agent self.user_agent = user_agent
......
0% Chargement en cours ou .
You are about to add 0 people to the discussion. Proceed with caution.
Terminez d'abord l'édition de ce message.
Veuillez vous inscrire ou vous pour commenter