Dramatiq-Captcha-Tasks: Retries und Zeitlimits richtig setzen

dramatiq captcha - Dramatiq CAPTCHA Tasks: Set Retries and Time Limits Right

Ein Dramatiq-Captcha-Actor geht an drei Stellen schief, und alle drei hängen damit zusammen, wie Dramatiq zählt. Seine Zeitoptionen sind in Millisekunden, sein Zeitlimit kann einen wartenden Socket nicht unterbrechen, und seine Retry-Regel zählt jede Ausnahme, die den Actor verlässt. Dieser Leitfaden legt den Seitenabruf, die CapSkip-Lösung und das Absenden des Formulars in einen Actor und misst dann, wo das Limit ihn stoppt und welche Fehler einen Retry verdienen. Er läuft unter Windows mit dem StubBroker, Sie brauchen also weder Redis noch RabbitMQ.

Was Sie brauchen

  • Ein Windows-PC mit laufendem CapSkip und aktiviertem reCAPTCHA-Solver. Das Beispiel löst reCAPTCHA v2; dieselbe Form passt zu den anderen Typen auf der Python-Captcha-Solver-Seite.
  • Python 3.10 oder neuer, das Minimum, das dramatiq 2.2.1 und capskip 1.7.0 angeben. Ich habe alles mit Python 3.11.7 und 3.14.0 und requests 2.34.2 ausgeführt, nicht mit 3.10.
  • Kein Message-Broker. Der StubBroker hält die Queue innerhalb eines Prozesses. Ich habe weder Redis noch RabbitMQ verwendet, daher beschreibt nichts hier einen echten Broker, sofern ein Satz nicht sagt, dass er aus dem Quellcode stammt.
  • Eine Adresse für CapSkip. Auf demselben PC genügt der Standard 127.0.0.1. Ein Worker auf einem anderen PC braucht den Server-Modus, der CapSkip auf Ihrem Netzwerk oder Ihrer öffentlichen IP lauschen lässt, und Sie schalten ihn in den Verbindungseinstellungen der Einrichtungsanleitung.

Test: Ich habe einen Mock-CapSkip und ein Mock-Anmeldeformular geschrieben, die Lösezeiten des Mocks selbst festgelegt und weder eine echte App noch eine reCAPTCHA-Website verwendet. Jede Zeitangabe unten ist eine Mock-Zeit. Sie zeigt, wie sich Dramatiq und das SDK um eine Lösung herum verhalten, nicht, wie lange eine Lösung dauert, und ein Fehler, den der Mock erzeugt, ist meine Regel, nicht das Verhalten von CapSkip.

Installieren Sie die drei Pakete in einer frischen virtuellen Umgebung:

# Windows, in PowerShell or cmd
python -m venv .venv
.venv\Scripts\python -m pip install dramatiq capskip requests

Schritt 1: Der Broker und ein SDK, das ein Timeout haben kann

Setzen Sie diesen Block an den Anfang von tasks.py. Die StubBroker-Zeile ist der einzige brokerspezifische Teil; eine echte Queue würde dort einen RedisBroker oder einen RabbitmqBroker bauen. Der Patch existiert, weil capskip 1.7.0 requests.post und requests.get ohne Timeout aufruft; ich habe api.py im installierten Paket gelesen. Nimmt CapSkip eine Verbindung an und antwortet nie, wartet der Aufruf so lange, wie das Betriebssystem es zulässt, und das Zeitlimit von Dramatiq kann nicht helfen. Der Patch tauscht die requests-Referenz in capskip.api aus, einem internen Teil des SDK, und der Block scheitert beim Import laut, wenn diese Referenz verschwindet. Das SDK ignoriert CAPSKIP_HOST, CAPSKIP_PORT und CAPSKIP_API_KEY, sofern Ihr Code sie nicht liest, daher liest der Block sie und übergibt sie dem Konstruktor.

# tasks.py, part 1: put this at the top of tasks.py
import functools
import os
import types

import capskip.api
import dramatiq
import requests
from capskip import ApiException, CapSkip, NetworkException, TimeoutException
from dramatiq.brokers.stub import StubBroker
from dramatiq.middleware import TimeLimitExceeded

# The StubBroker keeps the queue inside this process, so it needs no Redis
# or RabbitMQ. In production, build a RedisBroker or a RabbitmqBroker here
# and pass it to dramatiq.set_broker the same way.
broker = StubBroker()
dramatiq.set_broker(broker)

# capskip 1.7.0 calls requests.post and requests.get with no timeout, and
# time_limit cannot interrupt a socket that is waiting. Give every SDK call
# 5 seconds to connect and 30 seconds of silence on a read.
if not hasattr(capskip.api, "requests"):
    raise RuntimeError("capskip changed how it makes HTTP calls: recheck this patch")
capskip.api.requests = types.SimpleNamespace(
    RequestException=requests.RequestException,
    post=functools.partial(requests.post, timeout=(5, 30)),
    get=functools.partial(requests.get, timeout=(5, 30)),
)

# The SDK does not read these variables itself; this code passes them in.
solver = CapSkip(
    apiKey=os.environ.get("CAPSKIP_API_KEY", "capskip"),
    host=os.environ.get("CAPSKIP_HOST", "127.0.0.1"),
    port=int(os.environ.get("CAPSKIP_PORT", "8080")),
)

Schritt 2: Der Actor, mit jeder Zeitangabe in Millisekunden

Der Dramatiq-Captcha-Actor lädt die Seite wegen der Cookies, löst und sendet das Formular in einem Versuch ab. Ein CapSkip-Ergebnis wird nur einmal gelesen, und ein Token wird nach etwa zwei Minuten ungültig (mehr dazu:wie lange ein reCAPTCHA-Token gültig bleibt), daher muss ein Retry bei der Seite beginnen.

Jede Zeitoption ist in Millisekunden: min_backoff beträgt hier 15 Sekunden und time_limit 8 Minuten. Die 8 Minuten sind Rechnerei: 300 Sekunden SDK-Abfragen, eine Pause von bis zu 5 und vier HTTP-Aufrufe, die je 5 Sekunden auf die Verbindung und 30 Sekunden Stille beim Lesen warten können, etwa 445 Sekunden, wenn CapSkip verstummt.

worth_retrying läuft nach jedem fehlgeschlagenen Versuch. Eine misslungene Lösung kommt als ApiException mit ERROR_CAPTCHA_UNSOLVABLE an (was dieser Fehler bedeutet) und kann beim nächsten Mal klappen, ebenso ein nicht erreichbares CapSkip, das Timeout des SDK, das Limit von Dramatiq sowie eine Antwort 403, 408, 429 oder 5xx vom Formular. Ein fehlender oder fehlerhafter sitekey oder eine fehlende oder fehlerhafte Seiten-URL wird beim Absenden des Tasks mit einem ERROR_-Code abgelehnt, der UNSOLVABLE nicht enthält, und ein falscher API-Key wird ebenso abgelehnt, daher beenden diese die Nachricht; das tut auch eine 4xx-Antwort des Formulars außer den drei genannten, die wiederkäme, und ebenso ein Bug in Ihrem Code. Ein wohlgeformter, aber falscher sitekey kann trotzdem als ERROR_CAPTCHA_UNSOLVABLE eintreffen und alle drei Retries verbrauchen; das konnte ich nicht gegen die echte App testen.

# tasks.py, part 2: add this below part 1
MAX_RETRIES = 3


def worth_retrying(retries_so_far, exc):
    # Dramatiq calls this after every failed attempt. While retry_when is
    # set, max_retries is ignored, so the count lives here.
    if retries_so_far >= MAX_RETRIES:
        return False
    if isinstance(exc, ApiException):
        # CapSkip reports a solve that failed this way. A refused sitekey,
        # page URL or API key would be refused again.
        return "ERROR_CAPTCHA_UNSOLVABLE" in str(exc)
    if isinstance(exc, requests.HTTPError):
        # 403 and 429 can mean a refused or expired token, 5xx a site hiccup;
        # a 404 or 400 would be answered the same way next time.
        status = exc.response.status_code if exc.response is not None else 0
        return status in (403, 408, 429) or status >= 500
    transient = (NetworkException, TimeoutException, TimeLimitExceeded, requests.RequestException)
    return isinstance(exc, transient)


@dramatiq.actor(
    queue_name="captcha",
    retry_when=worth_retrying,
    min_backoff=15_000,  # milliseconds, not seconds
    max_backoff=120_000,
    time_limit=480_000,  # milliseconds as well: 8 minutes
)
def sign_up(sitekey, page_url, email):
    with requests.Session() as session:
        session.get(page_url, timeout=(5, 30))  # picks up the page's cookies
        # Solve inside the attempt, right before the form submission: a result is
        # read once, and a token ages.
        token = solver.recaptcha(sitekey=sitekey, url=page_url)["code"]
        reply = session.post(
            page_url,
            data={"email": email, "g-recaptcha-response": token},
            headers={"Referer": page_url},
            timeout=(5, 30),
        )
        reply.raise_for_status()

Schritt 3: Mit echten Worker-Threads und ohne Broker ausführen

Dieses Skript startet vier Dramatiq-Worker-Threads in einem Prozess, sendet eine Nachricht und wartet, bis die Queue leer ist. Speichern Sie es als run_local.py neben tasks.py, ersetzen Sie YOUR_SITEKEY durch den sitekey einer Seite, die Sie automatisieren dürfen, und übergeben Sie beim Start die Adresse dieser Seite in PAGE_URL.

# run_local.py: real worker threads, no Redis or RabbitMQ
import os

from dramatiq import Worker

from tasks import broker, sign_up

# The dramatiq command emits this event for you. It starts the thread
# behind time_limit, so a script has to emit it itself.
broker.emit_after("process_boot")
worker = Worker(broker, worker_threads=4)
worker.start()
try:
    sign_up.send(
        "YOUR_SITEKEY",
        os.environ.get("PAGE_URL", "https://example.com/signup"),
        "[email protected]",
    )
    # fail_fast=False: do not re-raise an actor's exception out of join
    broker.join("captcha", fail_fast=False)
    worker.join()
finally:
    worker.stop()
print("dead-lettered messages:", len(broker.dead_letters))

Aus dem Ordner, der tasks.py enthält, in PowerShell:

# PowerShell
$env:PAGE_URL = "https://your-page/signup"
.venv\Scripts\python run_local.py

Führen Sie in cmd set PAGE_URL=https://your-page/signup aus und dann denselben python-Befehl.

Die Zeile emit_after startet den Watcher-Thread hinter time_limit. Der Befehl dramatiq erledigt das für Sie, ein Skript muss es selbst tun; ohne diese Zeile ließ ein Limit von 2 Sekunden bei einer Lösung von 6 Sekunden den Actor 7,8 bis 7,9 Sekunden laufen. Die Methode join des Brokers in Dramatiq 2 löst außerdem die Ausnahme einer Dead-Letter-Nachricht erneut aus, sofern Sie nicht fail_fast=False übergeben. Gegen den Mock lief eine Nachricht, das Formular nahm eine Einsendung an, und das Skript gab 0 dead-lettered messages aus.

Was time_limit unterbrechen kann und was nicht

Die TimeLimit-Middleware weckt einmal pro Sekunde einen Watcher-Thread. Bei einer Nachricht jenseits ihres Limits bittet der Watcher CPython, TimeLimitExceeded im Worker-Thread auszulösen, und die Ausnahme kommt an, sobald dieser Thread das nächste Mal Python-Code ausführt. Ein schlafender Thread oder einer, der auf einen Socket wartet, führt keinen aus. Das Benutzerhandbuch von Dramatiq nennt den Standardwert von 10 Minuten, der die Rechnung aus Schritt 2 bereits abdeckt.

Das SDK schläft zwischen den Status-Abfragen bis zu 5 Sekunden, daher wirkt ein Limit, das mitten im Schlaf auslöst, erst, wenn der Schlaf endet (die ersten zwei Zeilen unten). Ein stummes CapSkip ist schlimmer (Zeilen drei und vier). Mit dem SDK in der ausgelieferten Form lief der Actor weiter, bis der hängende Aufruf zurückkehrte, und nur der Patch aus Schritt 1 begrenzte ihn, beim Lese-Timeout von 30 Sekunden. time_limit hält also nur, wenn jeder blockierende Aufruf ein eigenes Timeout hat.

TimeLimitExceeded leitet sich von BaseException ab, daher fängt ein Handler für Exception sie nicht. Ein Handler für BaseException tut es, und Dramatiq zählt dann einen Erfolg (letzte Zeile). Fangen Sie CapSkipError ab, um eine fehlgeschlagene Lösung zu protokollieren.

Mock-AufbauWas passiert ist
CapSkip wird nie fertig, Limit 3 sGestoppt bei 3,8 s oder bei 7,8 s, je nachdem, wohin der Ein-Sekunden-Tick des Watchers gegenüber den SDK-Pausen fiel (fünf zu eins in den Läufen, die ich auf zwei Python-Versionen gemacht habe)
CapSkip wird nie fertig, Limit 8 sGestoppt bei etwa 12,9 s auf beiden Python-Versionen
Status-Aufruf 25 s lang stumm, kein Patch, Limit 3 sLimit nach 3 bis 4 s protokolliert, der Actor lief weiter bis 25,0 s und verwendete den Token in dieser Antwort nie
Status-Aufruf 45 s lang stumm, Patch aus Schritt 1, Limit 3 sGestoppt bei 30,0 s
Limit als 330 geschrieben (Sekundengewohnheit), Lösung 6 sJeder Versuch wurde innerhalb von 2 s gestoppt; vier Lösungen verschwendet, dann ein Dead Letter
Handler für BaseException um die LösungNachricht als Erfolg gezählt, kein Retry, kein Dead Letter

Welche Fehler Dramatiq wiederholt

Die Retries-Middleware ist standardmäßig an, und ihre Standardwerte sind für ein Captcha großzügig. Ich habe sie aus einem laufenden Broker gelesen: 20 Retries, ein minimales Backoff von 15 Sekunden, sodass der erste Retry 15 bis 30 Sekunden wartet, und eine Obergrenze von 7 Tagen. Ein Actor ohne Optionen würde einen abgelehnten sitekey bis zu 20-mal wiederholen.

Die Option max_retries zählt Retries, nicht Versuche, und jede Ausnahme, die den Actor verlässt, zählt, auch TimeLimitExceeded. Wer retry_when übergibt, übernimmt vollständig, weshalb worth_retrying eine eigene Zählung führt. Die Actor-Option "throws" überspringt Retries nach Klasse und protokolliert eine Info-Zeile, aber ApiException deckt sowohl eine fehlgeschlagene Lösung als auch einen abgelehnten Key ab, daher verwendet das Beispiel retry_when. Wenn worth_retrying nein sagt, lautet das Log trotzdem "Retries exceeded for message"; lesen Sie die Ausnahmezeile darüber.

Jede Verzögerung ist min_backoff mal 2 hoch der bisherigen Retries, mal ein Zufallsfaktor von 1 bis 2 und, wenn das max_backoff übersteigt, neu gezogen zwischen der Hälfte und der Gesamtheit von max_backoff. Mit 300 und 2000 lauten die Bereiche 300 bis 600, 600 bis 1200 und 1000 bis 2000 Millisekunden, und die Verzögerungen, die ich sah, waren 453, 896 und 1599 unter Python 3.11 und 477, 1028 und 1219 unter 3.14. Jeder Retry ist eine frische Lösung, und der aufgegebene Versuch hinterlässt in CapSkip einen Task, den niemand liest: In der 330-Zeile wurden vier Tasks gesendet und kein Token gelesen.

Mock-AufbauWas passiert ist
Beispiel-Actor, jede Lösung scheitert4 Lösungen, 3 Retry-Zeilen, dann "Retries exceeded" und ein Dead Letter
Beispiel-Actor, Mock lehnt den sitekey mit einem ERROR_-Code ab (Regel des Mocks)1 Lösung, kein Retry, Dead Letter
Beispiel-Actor, Formular antwortet bei jeder Einsendung mit 404, 405 oder 400Jedes Mal 1 Lösung, kein Retry, Dead Letter
Einfacher Actor, max_retries von 3, löst den Fehler wegen des abgelehnten Keys aus4 Läufe einer Anfrage, die nie funktionieren konnte
Website antwortet auf die erste Formular-Einsendung mit 4032 Lösungen, zweiter Token akzeptiert
Einfacher Actor, throws auf ValidationException gesetzt, löst sie aus1 Lauf, eine Info-Zeile, Dead Letter

Worker unter Windows: Threads, Stopps und Server-Modus

Der Befehl dramatiq lädt das Modul, das Sie nennen, daher bestimmt die Broker-Zeile in tasks.py, was ein Worker konsumiert. Mit dem StubBroker läuft ein gestarteter Worker nur im Leerlauf, da jeder Prozess seine eigene Queue hat; ich habe ihn nur verwendet, um den Befehl zu prüfen. Standardmäßig startet er einen Prozess pro logischem Prozessor mit je 8 Threads. Dieser PC hat 24, und der Standard druckte 24 Zeilen mit "Worker process is ready for action": 192 Threads, die jeweils eine Lösung starten können. CapSkip ist standardmäßig auf 10 gleichzeitige reCAPTCHA-Lösungen eingestellt (die Einstellung Max. Threads; ich habe die App nicht ausgeführt, prüfen Sie also Ihren eigenen Wert), und ein in CapSkip wartender Task verbraucht trotzdem das Zeitlimit des Actors. Beginnen Sie mit einem Prozess und zehn Threads:

# From the folder that holds tasks.py: one process, ten threads
.venv\Scripts\dramatiq tasks --processes 1 --threads 10

Planen Sie den Stopp ein. Ich habe den Befehl mit einer langsamen Mock-Lösung gestartet und Ctrl+Break gesendet. Der Befehl wurde weniger als 2 Sekunden später mit Code 21 beendet. Sechs Stopps auf den beiden Python-Versionen ergaben dasselbe Ergebnis, zwei davon, nachdem die Lösung fertig war, und die vier unfertigen Lösungen wurden nie gelesen. Der Hauptprozess leitet das Signal mit os.kill an seine Worker weiter, und laut der CPython-Dokumentation beendet os.kill unter Windows einen Prozess bei jeder Signalnummer sofort, außer bei den beiden Konsolenereignissen, und verwendet die Nummer als Exit-Code. 21 ist diese Nummer. Ctrl+C oder einen Dienst-Stopp habe ich nicht getestet, behandeln Sie also jeden Stopp als Kill der laufenden Lösung.

Dramatiq bestätigt eine Nachricht erst, nachdem der Actor fertig ist. Im Quellcode des Redis-Brokers kommen die unbestätigten Nachrichten eines toten Workers zurück in die Queue, sobald sein Heartbeat 60 Sekunden alt ist, der Standardwert. Das habe ich gelesen und nicht ausgeführt. So oder so beginnt die Nachricht wieder bei der Seite.

Für Worker auf einem anderen PC schalten Sie CapSkip in den Server-Modus und setzen dann CAPSKIP_HOST (und CAPSKIP_API_KEY, wenn die API-Key-Validierung an ist) in der Umgebung des Befehls dramatiq. Das Einschalten des Server-Modus öffnet den CapSkip-Port für jede Adresse, blockieren Sie also jeden Rechner, der keiner Ihrer Worker ist, mit einer Block-Regel der Windows-Firewall. Die Lösungen laufen weiterhin auf Ihrem eigenen Windows-Rechner und kosten nichts pro Lösung.

Häufige Dramatiq-Captcha-Fehler

Was Sie sehenUrsacheBeheben
"Retries exceeded" nach einem Versuchworth_retrying hat einen fehlerhaften sitekey, eine fehlerhafte Seiten-URL oder einen fehlerhaften API-Key oder eine 4xx-Antwort des Formulars abgelehntLesen Sie die Ausnahme darüber, korrigieren Sie die Eingabe
NetworkException bei jedem VersuchCapSkip ist geschlossen oder auf 127.0.0.1, während der Worker auf einem anderen PC läuftStarten Sie es oder nutzen Sie den Server-Modus; siehe die API-Dokumentation

FAQ

Reicht der StubBroker, um einen Dramatiq-Captcha-Actor zu testen?

Für die Logik des Actors selbst ja: Retries, Backoff, Zeitlimits und Dead Letters liefen hier alle mit echten Worker-Threads. Er kann nicht zeigen, was ein Broker hinzufügt, etwa die erneute Zustellung, nachdem ein Worker gestorben ist.

Können Worker auf einem anderen Rechner CapSkip erreichen?

Ja, über den Server-Modus. Betreiben Sie CapSkip auf einem Windows-Rechner mit erreichbarer Adresse und setzen Sie CAPSKIP_HOST in der Umgebung der Worker. Der Actor bleibt unverändert.

Unterscheidet sich Dramatiq hier von Celery?

Dramatiq hat ein einziges Zeitlimit, in Millisekunden, dessen Fehler eine BaseException ist, und eine Retry-Regel, die eine von Ihnen geschriebene Funktion ist. Späte Bestätigung und Prefetch werden im Leitfaden zum Lösen von Captchas in einem Celery-Task.

Die Kurzfassung

Für einen Dramatiq-Captcha-Actor halten Sie Abruf, Lösung und Formular-Einsendung in einem Versuch, schreiben Sie jede Zeit in Millisekunden und geben Sie den HTTP-Aufrufen des SDK ein Timeout, damit time_limit den Thread erreichen kann. Wiederholen Sie eine fehlgeschlagene Lösung, ein stummes CapSkip oder ein abgelehntes Formular, und rechnen Sie damit, dass ein Windows-Stopp eine laufende Lösung beendet. Ein lokaler Captcha-Löser auf Ihrer eigenen Hardware sorgt dafür, dass ein Retry oder eine abgebrochene Lösung nur Zeit kostet und sonst nichts.