Задачи Dramatiq с капчей: правильные повторы и лимиты времени

dramatiq captcha - Dramatiq CAPTCHA Tasks: Set Retries and Time Limits Right

Actor dramatiq для капчи ломается в трёх местах, и все три связаны с тем, как считает Dramatiq. Его параметры времени заданы в миллисекундах, его лимит времени не может прервать ожидающий сокет, а его правило повторов учитывает каждое исключение, вышедшее из actor. Это руководство собирает загрузку страницы, решение CapSkip и отправку формы в одном actor, а затем измеряет, где его останавливает лимит и какие сбои заслуживают повтора. Оно работает в Windows со StubBroker, поэтому Redis и RabbitMQ не нужны.

Что понадобится

  • ПК с Windows, на котором запущен CapSkip с включённым решателем reCAPTCHA. Пример решает reCAPTCHA v2; та же схема подходит для других типов, перечисленных на странице сервиса распознавания капчи для Python.
  • Python 3.10 или новее, это минимум, который объявляют dramatiq 2.2.1 и capskip 1.7.0. Всё я запускал на Python 3.11.7 и 3.14.0 с requests 2.34.2, а на 3.10 не запускал.
  • Никакого брокера сообщений. StubBroker держит очередь внутри одного процесса. Я не использовал ни Redis, ни RabbitMQ, поэтому ничто здесь не описывает настоящий брокер, если только в предложении не сказано, что это взято из исходного кода.
  • Адрес для CapSkip. На том же ПК достаточно значения по умолчанию 127.0.0.1. Воркеру на другом ПК нужен Server mode, при котором CapSkip слушает ваш сетевой или публичный IP, и включается он в настройках подключения из руководства по настройке.

Тестирование: я написал имитацию CapSkip и имитацию формы регистрации, сам задал время решения в имитации и не использовал ни настоящее приложение, ни сайт с reCAPTCHA. Все замеры ниже получены на имитации. Они показывают, как ведут себя Dramatiq и SDK вокруг решения, а не сколько занимает само решение, а сбой, который выдаёт имитация, подчиняется моему правилу, а не поведению CapSkip.

Установите три пакета в новое виртуальное окружение:

# Windows, in PowerShell or cmd
python -m venv .venv
.venv\Scripts\python -m pip install dramatiq capskip requests

Шаг 1: брокер и SDK, который умеет выходить по таймауту

Поместите этот блок в начало tasks.py. Единственная часть, зависящая от брокера, это строка StubBroker; в настоящей очереди здесь создавался бы RedisBroker или RabbitmqBroker. Патч нужен потому, что capskip 1.7.0 вызывает requests.post и requests.get без таймаута; я прочитал api.py в установленном пакете. Если CapSkip принимает соединение и не отвечает, вызов ждёт столько, сколько позволяет операционная система, и лимит времени Dramatiq не поможет. Патч подменяет ссылку на requests внутри capskip.api, то есть внутреннюю часть SDK, и блок громко падает при импорте, если эта ссылка исчезнет. SDK игнорирует CAPSKIP_HOST, CAPSKIP_PORT и CAPSKIP_API_KEY, пока их не прочитает ваш код, поэтому блок читает их и передаёт конструктору.

# tasks.py, part 1: put this at the top of tasks.py
import functools
import os
import types

import capskip.api
import dramatiq
import requests
from capskip import ApiException, CapSkip, NetworkException, TimeoutException
from dramatiq.brokers.stub import StubBroker
from dramatiq.middleware import TimeLimitExceeded

# The StubBroker keeps the queue inside this process, so it needs no Redis
# or RabbitMQ. In production, build a RedisBroker or a RabbitmqBroker here
# and pass it to dramatiq.set_broker the same way.
broker = StubBroker()
dramatiq.set_broker(broker)

# capskip 1.7.0 calls requests.post and requests.get with no timeout, and
# time_limit cannot interrupt a socket that is waiting. Give every SDK call
# 5 seconds to connect and 30 seconds of silence on a read.
if not hasattr(capskip.api, "requests"):
    raise RuntimeError("capskip changed how it makes HTTP calls: recheck this patch")
capskip.api.requests = types.SimpleNamespace(
    RequestException=requests.RequestException,
    post=functools.partial(requests.post, timeout=(5, 30)),
    get=functools.partial(requests.get, timeout=(5, 30)),
)

# The SDK does not read these variables itself; this code passes them in.
solver = CapSkip(
    apiKey=os.environ.get("CAPSKIP_API_KEY", "capskip"),
    host=os.environ.get("CAPSKIP_HOST", "127.0.0.1"),
    port=int(os.environ.get("CAPSKIP_PORT", "8080")),
)

Шаг 2: actor, все времена в миллисекундах

Actor dramatiq для капчи загружает страницу ради её cookie, решает и отправляет форму за одну попытку. Результат CapSkip читается один раз, а токен устаревает примерно через две минуты (срок действия токена reCAPTCHA), поэтому повтор должен начинаться со страницы.

Все параметры времени заданы в миллисекундах: здесь min_backoff равен 15 секундам, а time_limit равен 8 минутам. 8 минут получены арифметикой: 300 секунд опроса SDK, пауза до 5 секунд и четыре HTTP-вызова, каждый из которых может ждать 5 секунд на соединение и 30 секунд тишины при чтении, итого около 445 секунд, когда CapSkip замолкает.

worth_retrying запускается после каждой неудачной попытки. Неудачное решение приходит как ApiException, содержащее ERROR_CAPTCHA_UNSOLVABLE (что означает эта ошибка) и в следующий раз может сработать, как и недоступный CapSkip, таймаут SDK, лимит Dramatiq и ответ 403, 408, 429 или 5xx от формы. Отсутствующий или неверно сформированный sitekey или URL страницы отклоняется при отправке задания с кодом ERROR_, не содержащим UNSOLVABLE, и неверный API-ключ отклоняется так же, поэтому они завершают сообщение; то же верно для ответа формы 4xx, кроме трёх перечисленных, который повторялся бы снова, и для ошибки в вашем коде. Правильно сформированный, но неверный sitekey всё равно может прийти как ERROR_CAPTCHA_UNSOLVABLE и израсходовать все три повтора; на настоящем приложении я это проверить не смог.

# tasks.py, part 2: add this below part 1
MAX_RETRIES = 3


def worth_retrying(retries_so_far, exc):
    # Dramatiq calls this after every failed attempt. While retry_when is
    # set, max_retries is ignored, so the count lives here.
    if retries_so_far >= MAX_RETRIES:
        return False
    if isinstance(exc, ApiException):
        # CapSkip reports a solve that failed this way. A refused sitekey,
        # page URL or API key would be refused again.
        return "ERROR_CAPTCHA_UNSOLVABLE" in str(exc)
    if isinstance(exc, requests.HTTPError):
        # 403 and 429 can mean a refused or expired token, 5xx a site hiccup;
        # a 404 or 400 would be answered the same way next time.
        status = exc.response.status_code if exc.response is not None else 0
        return status in (403, 408, 429) or status >= 500
    transient = (NetworkException, TimeoutException, TimeLimitExceeded, requests.RequestException)
    return isinstance(exc, transient)


@dramatiq.actor(
    queue_name="captcha",
    retry_when=worth_retrying,
    min_backoff=15_000,  # milliseconds, not seconds
    max_backoff=120_000,
    time_limit=480_000,  # milliseconds as well: 8 minutes
)
def sign_up(sitekey, page_url, email):
    with requests.Session() as session:
        session.get(page_url, timeout=(5, 30))  # picks up the page's cookies
        # Solve inside the attempt, right before the form submission: a result is
        # read once, and a token ages.
        token = solver.recaptcha(sitekey=sitekey, url=page_url)["code"]
        reply = session.post(
            page_url,
            data={"email": email, "g-recaptcha-response": token},
            headers={"Referer": page_url},
            timeout=(5, 30),
        )
        reply.raise_for_status()

Шаг 3: запуск на настоящих потоках воркера без брокера

Этот скрипт запускает четыре потока воркера Dramatiq в одном процессе, отправляет сообщение и ждёт, пока очередь опустеет. Сохраните его как run_local.py рядом с tasks.py, замените YOUR_SITEKEY на sitekey страницы, которую вам можно автоматизировать, и передайте адрес этой страницы в PAGE_URL при запуске.

# run_local.py: real worker threads, no Redis or RabbitMQ
import os

from dramatiq import Worker

from tasks import broker, sign_up

# The dramatiq command emits this event for you. It starts the thread
# behind time_limit, so a script has to emit it itself.
broker.emit_after("process_boot")
worker = Worker(broker, worker_threads=4)
worker.start()
try:
    sign_up.send(
        "YOUR_SITEKEY",
        os.environ.get("PAGE_URL", "https://example.com/signup"),
        "[email protected]",
    )
    # fail_fast=False: do not re-raise an actor's exception out of join
    broker.join("captcha", fail_fast=False)
    worker.join()
finally:
    worker.stop()
print("dead-lettered messages:", len(broker.dead_letters))

Из папки, где лежит tasks.py, в PowerShell:

# PowerShell
$env:PAGE_URL = "https://your-page/signup"
.venv\Scripts\python run_local.py

В cmd выполните set PAGE_URL=https://your-page/signup, а затем ту же команду python.

Строка emit_after запускает поток-наблюдатель, на котором держится time_limit. Команда dramatiq делает это за вас, а скрипту нужно делать это самому; без неё лимит в 2 секунды на решение в 6 секунд позволял actor работать от 7.8 до 7.9 секунды. Метод join у брокера в Dramatiq 2 также заново вызывает исключение сообщения, попавшего в dead letter, если не передать fail_fast=False. На имитации выполнилось одно сообщение, форма приняла одну отправку, и скрипт вывел 0 сообщений в dead letter.

Что time_limit может и не может прервать

Middleware TimeLimit будит поток-наблюдатель раз в секунду. Для сообщения, превысившего лимит, наблюдатель просит CPython вызвать TimeLimitExceeded в потоке воркера, и исключение приходит при следующем запуске Python-кода в этом потоке. Ни спящий поток, ни тот, что ждёт сокет, никакого кода не выполняют. В руководстве пользователя Dramatiq указано значение по умолчанию 10 минут, которое уже перекрывает арифметику из шага 2.

SDK спит между опросами статуса до 5 секунд, поэтому лимит, сработавший посреди сна, вступает в силу только когда сон заканчивается (первые две строки ниже). Молчащий CapSkip хуже (строки три и четыре). С SDK в поставляемом виде actor работал, пока не вернётся зависший вызов, и только патч из шага 1 ограничил его 30-секундным таймаутом чтения. Так что time_limit работает, только если у каждого блокирующего вызова есть собственный таймаут.

TimeLimitExceeded наследуется от BaseException, поэтому обработчик для Exception его не ловит. Обработчик для BaseException ловит, и тогда Dramatiq считает это успехом (последняя строка). Чтобы записать в лог неудачное решение, перехватывайте CapSkipError.

Настройка имитацииЧто произошло
CapSkip никогда не завершает решение, лимит 3 сОстановка на 3.8 с или на 7.8 с, в зависимости от того, как секундный тик наблюдателя попал относительно пауз SDK (пять к одному в моих запусках на двух Python)
CapSkip никогда не завершает решение, лимит 8 сОстановка примерно на 12.9 с на обоих Python
Вызов статуса молчит 25 с, без патча, лимит 3 сЛимит записан в лог на отметке от 3 до 4 с, actor работал до 25.0 с и так и не использовал токен из этого ответа
Вызов статуса молчит 45 с, патч из шага 1, лимит 3 сОстановка на 30.0 с
Лимит записан как 330 (привычка к секундам), решение 6 сКаждая попытка остановлена в пределах 2 с; четыре решения потрачены впустую, затем dead letter
Обработчик BaseException вокруг решенияСообщение засчитано как успех, без повтора и без dead letter

Какие сбои Dramatiq повторяет

Middleware Retries включено по умолчанию, и его значения по умолчанию щедры для капчи. Я прочитал их у работающего брокера: 20 повторов, минимальная задержка 15 секунд, из-за чего первый повтор ждёт от 15 до 30 секунд, и потолок 7 дней. Actor без параметров повторял бы отклонённый sitekey до 20 раз.

Параметр max_retries считает повторы, а не попытки, и учитывается каждое исключение, вышедшее из actor, включая TimeLimitExceeded. Если передать retry_when, он полностью берёт управление на себя, поэтому worth_retrying ведёт собственный счёт. Параметр actor "throws" пропускает повторы по классу и пишет информационную строку, но ApiException охватывает и неудачное решение, и отклонённый ключ, поэтому пример использует retry_when. Когда worth_retrying отвечает «нет», в логе всё равно написано "Retries exceeded for message"; читайте строку исключения выше.

Каждая задержка равна min_backoff, умноженному на 2 в степени числа прошедших повторов, умноженному на случайный множитель от 1 до 2, и, если она превышает max_backoff, выбирается заново между половиной и всем max_backoff. При 300 и 2000 диапазоны составляют от 300 до 600, от 600 до 1200 и от 1000 до 2000 миллисекунд, а задержки, которые я видел, были 453, 896 и 1599 на Python 3.11 и 477, 1028 и 1219 на 3.14. Каждый повтор означает новое решение, и брошенная попытка оставляет в CapSkip задание, которое никто не читает: в строке с 330 было отправлено четыре задания и ни один токен не прочитан.

Настройка имитацииЧто произошло
Пример actor, каждое решение падает4 решения, 3 строки повтора, затем "Retries exceeded" и dead letter
Пример actor, имитация отклоняет sitekey с кодом ERROR_ (правило имитации)1 решение, без повтора, в dead letter
Пример actor, форма отвечает 404, 405 или 400 на каждую отправкуПо 1 решению каждый раз, без повтора, в dead letter
Простой actor, max_retries равно 3, выбрасывает ошибку отклонённого ключа4 запуска запроса, который никогда не мог сработать
Сайт отвечает 403 на первую отправку формы2 решения, второй токен принят
Простой actor, throws задан как ValidationException, выбрасывает его1 запуск, информационная строка, dead letter

Воркеры в Windows: потоки, остановки и Server mode

Команда dramatiq загружает указанный вами модуль, поэтому строка с брокером в tasks.py определяет, что потребляет воркер. Со StubBroker запущенный воркер просто простаивает, потому что у каждого процесса своя очередь; я использовал его только для проверки команды. По умолчанию она запускает по одному процессу на логический процессор с 8 потоками в каждом. На этом ПК их 24, и по умолчанию вывелось 24 строки "Worker process is ready for action": 192 потока, каждый из которых может запустить решение. В CapSkip по умолчанию настроено 10 одновременных решений reCAPTCHA (настройка Max. Threads; приложение я не запускал, так что проверьте своё значение), а задание, ожидающее внутри CapSkip, всё равно расходует лимит времени actor. Начните с одного процесса и десяти потоков:

# From the folder that holds tasks.py: one process, ten threads
.venv\Scripts\dramatiq tasks --processes 1 --threads 10

Планируйте остановку. Я запустил команду с медленным решением на имитации и отправил ей Ctrl+Break. Команда завершилась менее чем через 2 секунды с кодом 21. Шесть остановок на двух Python дали тот же результат, две из них после завершения решения, а четыре незавершённых решения так и не были прочитаны. Главный процесс пересылает сигнал воркерам через os.kill, а документация CPython сообщает, что в Windows os.kill немедленно завершает процесс при любом номере сигнала, кроме двух консольных событий, используя этот номер как код выхода. 21 и есть этот номер. Ctrl+C и остановку службы я не проверял, поэтому считайте любую остановку убийством выполняющегося решения.

Dramatiq подтверждает сообщение только после того, как его actor завершится. В исходном коде брокера Redis неподтверждённые сообщения умершего воркера возвращаются в очередь, когда его heartbeat устарел на 60 секунд, это значение по умолчанию. Я это прочитал, но не запускал. В любом случае сообщение начинается заново со страницы.

Для воркеров на другом ПК переключите CapSkip в Server mode, затем задайте CAPSKIP_HOST (и CAPSKIP_API_KEY, если включена проверка API-ключа) в окружении команды dramatiq. Включение Server mode открывает порт CapSkip для любого адреса, поэтому заблокируйте каждую машину, которая не является одним из ваших воркеров, правилом блокировки брандмауэра Windows. Решения по-прежнему выполняются на вашем собственном компьютере с Windows и не стоят ничего за каждое решение.

Частые ошибки Dramatiq с капчей

Что вы видитеПричинаИсправить
"Retries exceeded" после одной попыткиworth_retrying отклонил неверно сформированный sitekey, URL страницы или API-ключ либо ответ формы 4xxПрочитайте исключение выше и исправьте входные данные
NetworkException на каждой попыткеCapSkip закрыт или работает на 127.0.0.1, а воркер на другом ПКЗапустите его или используйте Server mode; см. Документация по API

FAQ

Достаточно ли StubBroker, чтобы протестировать actor Dramatiq для капчи?

Для логики самого actor да: повторы, задержки, лимиты времени и dead letter здесь работали на настоящих потоках воркера. Он не покажет того, что добавляет брокер, например повторной доставки после смерти воркера.

Могут ли воркеры на другой машине достучаться до CapSkip?

Да, через Server mode. Запустите CapSkip на машине с Windows с доступным адресом и задайте CAPSKIP_HOST в окружении воркеров. Actor не меняется.

Чем Dramatiq отличается от Celery в этом случае?

У Dramatiq один лимит времени, в миллисекундах, и его ошибка является BaseException, а правило повторов представляет собой функцию, которую вы пишете. Позднее подтверждение и предвыборка разобраны в руководстве по решению капчи в задаче Celery.

Коротко

Для actor dramatiq с капчей держите загрузку, решение и отправку формы в одной попытке, записывайте все времена в миллисекундах и задайте HTTP-вызовам SDK таймаут, чтобы time_limit мог дотянуться до потока. Повторяйте неудачное решение, молчащий CapSkip или отклонённую форму и ждите, что остановка в Windows убьёт выполняющееся решение. Если вы используете локальный сервис распознавания капчи на своём оборудовании, повтор или убитое решение стоят времени и ничего больше.