Attrap: plus besoin du controlport de Tor pour changer d'identité

Attrap.py

 import os
 import re
+import random
 import ssl
 import subprocess
 import shutil
+import string
 import logging
 import requests
 import time
@@ -25,9 +27,6 @@ from pypdf import PdfReader
 from pypdf import PdfWriter
 from pypdf.generic import NameObject, NumberObject
 
-from stem import Signal
-from stem.control import Controller
-
 import hashlib
 import smtplib
 import email
@@ -153,6 +152,7 @@ class Attrap:
         self.tor_enabled = False
         self.tor_max_requests = 0
         self.tor_requests = 0
+        self.tor_socks5_key = None
         self.not_before = datetime.datetime(2024, 1, 1)
         self.smtp_configured = False
         self.mastodon = None
@@ -189,14 +189,8 @@ class Attrap:
 
     def enable_tor(self, max_requests=0):
         """Active l'utilisation de Tor pour effectuer les requêtes."""
-        proxies = {
-            "http": f"socks5h://127.0.0.1:9050",
-            "https": f"socks5h://127.0.0.1:9050",
-        }
         self.tor_enabled = True
         self.tor_max_requests = max_requests
-        self.tor_requests = 0
-        self.session.proxies.update(proxies)
         self.tor_get_new_id()
 
     def disable_tor(self):
@@ -208,18 +202,15 @@ class Attrap:
         self.session.proxies.update(proxies)
 
     def tor_get_new_id(self):
-        """Change d'identité Tor. Cela permet de changer de noeud de sortie donc d'IP."""
+        """Change de circuit Tor. Cela permet de changer de noeud de sortie donc d'IP."""
         if self.tor_enabled:
-            logger.info('Changement d\'identité Tor')
-            try:
-                self.session.close()
-                controller = Controller.from_port(port=9051)
-                controller.authenticate()
-                controller.signal(Signal.NEWNYM)
-                time.sleep(5)
-                self.tor_requests = 0
-            except Exception as exc:
-                logger.debug(f'Impossible de changer d\'identité Tor: {exc}')
+            self.tor_socks5_key = 'attrap_' + ''.join(random.choices(string.ascii_lowercase, k=20))
+            proxies = {
+                "http": f"socks5h://attrap:{self.tor_socks5_key}@127.0.0.1:9050",
+                "https": f"socks5h://attrap:{self.tor_socks5_key}@127.0.0.1:9050",
+            }
+            self.session.proxies.update(proxies)
+            self.tor_requests = 0
 
     def get_sub_pages(self, page_content, element, host, recursive_until_pdf):
         """
@@ -455,7 +446,7 @@ class Attrap:
             if page.status_code == 429:
                 logger.warning('Erreur 429 Too Many Requests reçue, temporisation...')
                 self.tor_get_new_id()
-                time.sleep(55)
+                time.sleep(1)
                 return self.get_page(url, method, data)
 
             if self.tor_enabled:
@@ -468,7 +459,7 @@ class Attrap:
         except requests.exceptions.ConnectionError:
             logger.warning(f'Erreur de connexion, temporisation...')
             self.tor_get_new_id()
-            time.sleep(55)
+            time.sleep(30)
             return self.get_page(url, method, data)
         except requests.exceptions.Timeout:
             logger.warning(f'Timeout, on relance la requête...')

Dockerfile-base

@@ -8,5 +8,4 @@ RUN apt-get update && \
 	apt-get install --no-install-recommends -y python3 python3-virtualenv chromium-driver make xauth xvfb tesseract-ocr tesseract-ocr-eng tesseract-ocr-fra curl unzip zip tor file ghostscript && \
 	apt-get clean && \
 	rm -rf /var/lib/apt/lists && \
-	ln -s /usr/bin/python3 /usr/bin/python && \
-	sed -i '/^#ControlPort 9051/s/^#//' /etc/tor/torrc
+	ln -s /usr/bin/python3 /usr/bin/python

README.md

@@ -18,14 +18,6 @@ pip3 install -r requirements.txt
 
 Vous devez avoir installé les données `eng` et `fra` de Tesseract et le démon Tor.
 
-### Configuration du démon Tor
-
-Il faut que le port de contrôle 9051 du démon Tor soit ouvert pour permettre à Attrap de s'y connecter. Vous pouvez exécuter la ligne suivante pour faire cela :
-
-```bash
-sed -i '/^#ControlPort 9051/s/^#//' /etc/tor/torrc
-```
-
 ## Utilisation
 
 Pour lancer la récupération de toutes les administrations supportées :

requirements.txt

@@ -8,4 +8,3 @@ pypdf>=4.2.0
 PyVirtualDisplay>=3.0
 requests>=2.31.0
 selenium>=4.19.0
-stem>=1.8.2