Dramatiq CAPTCHA Görevleri: Yeniden Denemeleri ve Time Limit’leri Doğru Ayarlayın

dramatiq captcha - Dramatiq CAPTCHA Tasks: Set Retries and Time Limits Right

Bir dramatiq captcha actor’ı üç yerde ters gider ve üçü de Dramatiq’in saymasından gelir. Zaman seçenekleri milisaniyedir, time limit beklemekte olan bir socket’i kesemez ve yeniden deneme kuralı actor’dan çıkan her istisnayı sayar. Bu kılavuz sayfa çekmeyi, CapSkip çözümünü ve form gönderimini tek bir actor’a koyar, sonra limitin onu nerede durdurduğunu ve hangi hataların yeniden denemeyi hak ettiğini ölçer. Windows üzerinde StubBroker ile çalışır, yani Redis ya da RabbitMQ gerekmez.

Neye ihtiyacınız var

  • reCAPTCHA çözücüsü açık olarak CapSkip çalıştıran bir Windows bilgisayarı. Örnek reCAPTCHA v2 çözer; aynı yapı diğer türlere de uyar, bunlar şu sayfada listelenir: Python CAPTCHA çözücü sayfası.
  • Python 3.10 veya üzeri; dramatiq 2.2.1 ve capskip 1.7.0’ın bildirdiği asgari sürüm. Her şeyi requests 2.34.2 ile Python 3.11.7 ve 3.14.0 üzerinde çalıştırdım, 3.10’da değil.
  • Mesaj broker’ı yok. StubBroker kuyruğu tek bir süreç içinde tutar. Ne Redis ne de RabbitMQ kullandım; bu yüzden bir cümle kaynaktan geldiğini söylemedikçe buradaki hiçbir şey gerçek bir broker’ı anlatmaz.
  • CapSkip için bir adres. Aynı bilgisayarda varsayılan 127.0.0.1 yeterlidir. Başka bir bilgisayardaki bir worker, CapSkip’in ağ veya genel IP’nizi dinlemesini sağlayan Server modunu ister. Anahtarı şurada: kurulum kılavuzunun bağlantı ayarları.

Test: bir mock CapSkip ve bir mock kayıt formu yazdım, mock’un çözüm sürelerini kendim ayarladım ve gerçek bir uygulama ya da reCAPTCHA sitesi kullanmadım. Aşağıdaki her zamanlama bir mock zamanlamasıdır. Bir çözümün ne kadar sürdüğünü değil, Dramatiq’in ve SDK’nın bir çözümün çevresinde nasıl davrandığını gösterir ve mock’un ürettiği bir hata benim kuralımdır, CapSkip davranışı değil.

Üç paketi temiz bir sanal ortama kurun:

# Windows, in PowerShell or cmd
python -m venv .venv
.venv\Scripts\python -m pip install dramatiq capskip requests

1. Adım: broker ve zaman aşımı verebilen bir SDK

Bu bloğu tasks.py dosyasının en üstüne koyun. StubBroker satırı broker’a özgü tek kısımdır; gerçek bir kuyruk orada bir RedisBroker ya da RabbitmqBroker kurardı. Yama var, çünkü capskip 1.7.0 requests.post ve requests.get çağrılarını zaman aşımı olmadan yapar; bunu kurulu paketteki api.py dosyasını okuyarak gördüm. CapSkip bağlantıyı kabul edip hiç yanıt vermezse çağrı, işletim sisteminin izin verdiği kadar bekler ve Dramatiq’in time limit’i yardımcı olamaz. Yama, capskip.api içindeki requests referansını değiştirir; bu SDK’nın iç bir parçasıdır ve o referans kaybolursa blok içe aktarma sırasında yüksek sesle başarısız olur. SDK, kodunuz okumadıkça CAPSKIP_HOST, CAPSKIP_PORT ve CAPSKIP_API_KEY değişkenlerini yok sayar; bu yüzden blok onları okur ve yapıcıya verir.

# tasks.py, part 1: put this at the top of tasks.py
import functools
import os
import types

import capskip.api
import dramatiq
import requests
from capskip import ApiException, CapSkip, NetworkException, TimeoutException
from dramatiq.brokers.stub import StubBroker
from dramatiq.middleware import TimeLimitExceeded

# The StubBroker keeps the queue inside this process, so it needs no Redis
# or RabbitMQ. In production, build a RedisBroker or a RabbitmqBroker here
# and pass it to dramatiq.set_broker the same way.
broker = StubBroker()
dramatiq.set_broker(broker)

# capskip 1.7.0 calls requests.post and requests.get with no timeout, and
# time_limit cannot interrupt a socket that is waiting. Give every SDK call
# 5 seconds to connect and 30 seconds of silence on a read.
if not hasattr(capskip.api, "requests"):
    raise RuntimeError("capskip changed how it makes HTTP calls: recheck this patch")
capskip.api.requests = types.SimpleNamespace(
    RequestException=requests.RequestException,
    post=functools.partial(requests.post, timeout=(5, 30)),
    get=functools.partial(requests.get, timeout=(5, 30)),
)

# The SDK does not read these variables itself; this code passes them in.
solver = CapSkip(
    apiKey=os.environ.get("CAPSKIP_API_KEY", "capskip"),
    host=os.environ.get("CAPSKIP_HOST", "127.0.0.1"),
    port=int(os.environ.get("CAPSKIP_PORT", "8080")),
)

2. Adım: her süresi milisaniye olan actor

dramatiq captcha actor’ı sayfayı cookie’leri için yükler, çözer ve formu tek bir denemede gönderir. Bir CapSkip sonucu bir kez okunur ve bir token yaklaşık iki dakika sonra bayatlar (ayrıntı:bir reCAPTCHA token'ının ne kadar süre geçerli kaldığı), bu yüzden bir yeniden deneme sayfadan başlamalıdır.

Her zaman seçeneği milisaniye cinsindendir: buradaki min_backoff 15 saniye, time_limit ise 8 dakikadır. 8 dakika bir hesaptır: 300 saniye SDK yoklaması, en fazla 5 saniyelik bir uyku ve her biri bağlanmak için 5 saniye, bir okumada da 30 saniye sessizlik bekleyebilen dört HTTP çağrısı; CapSkip sustuğunda yaklaşık 445 saniye.

worth_retrying her başarısız denemeden sonra çalışır. Başarısız bir çözüm ERROR_CAPTCHA_UNSOLVABLE içeren bir ApiException olarak gelir (ayrıntı:bu hatanın ne anlama geldiği) ve bir sonraki seferde işe yarayabilir; ulaşılamayan bir CapSkip, SDK’nın zaman aşımı, Dramatiq’in limiti ve formdan gelen 403, 408, 429 ya da 5xx yanıtı da öyle. Eksik ya da bozuk bir sitekey veya sayfa URL’si, görev gönderilirken UNSOLVABLE içermeyen bir ERROR_ koduyla reddedilir ve yanlış bir API anahtarı da aynı şekilde reddedilir; bu yüzden bunlar mesajı bitirir. Formdan gelen, yukarıdaki üçü dışındaki bir 4xx yanıtı da öyle, çünkü o yine gelirdi; kodunuzdaki bir hata da öyle. Biçimi doğru ama yanlış bir sitekey yine ERROR_CAPTCHA_UNSOLVABLE olarak gelip üç yeniden denemenin hepsini kullanabilir; bunu gerçek uygulamaya karşı test edemedim.

# tasks.py, part 2: add this below part 1
MAX_RETRIES = 3


def worth_retrying(retries_so_far, exc):
    # Dramatiq calls this after every failed attempt. While retry_when is
    # set, max_retries is ignored, so the count lives here.
    if retries_so_far >= MAX_RETRIES:
        return False
    if isinstance(exc, ApiException):
        # CapSkip reports a solve that failed this way. A refused sitekey,
        # page URL or API key would be refused again.
        return "ERROR_CAPTCHA_UNSOLVABLE" in str(exc)
    if isinstance(exc, requests.HTTPError):
        # 403 and 429 can mean a refused or expired token, 5xx a site hiccup;
        # a 404 or 400 would be answered the same way next time.
        status = exc.response.status_code if exc.response is not None else 0
        return status in (403, 408, 429) or status >= 500
    transient = (NetworkException, TimeoutException, TimeLimitExceeded, requests.RequestException)
    return isinstance(exc, transient)


@dramatiq.actor(
    queue_name="captcha",
    retry_when=worth_retrying,
    min_backoff=15_000,  # milliseconds, not seconds
    max_backoff=120_000,
    time_limit=480_000,  # milliseconds as well: 8 minutes
)
def sign_up(sitekey, page_url, email):
    with requests.Session() as session:
        session.get(page_url, timeout=(5, 30))  # picks up the page's cookies
        # Solve inside the attempt, right before the form submission: a result is
        # read once, and a token ages.
        token = solver.recaptcha(sitekey=sitekey, url=page_url)["code"]
        reply = session.post(
            page_url,
            data={"email": email, "g-recaptcha-response": token},
            headers={"Referer": page_url},
            timeout=(5, 30),
        )
        reply.raise_for_status()

3. Adım: gerçek worker iş parçacıklarıyla ve broker olmadan çalıştırın

Bu script tek bir süreçte dört Dramatiq worker iş parçacığı başlatır, bir mesaj gönderir ve kuyruğun boşalmasını bekler. Onu tasks.py yanına run_local.py olarak kaydedin, YOUR_SITEKEY değerini otomatikleştirmenize izin verilen bir sayfanın sitekey’i ile değiştirin ve çalıştırırken o sayfanın adresini PAGE_URL içinde geçirin.

# run_local.py: real worker threads, no Redis or RabbitMQ
import os

from dramatiq import Worker

from tasks import broker, sign_up

# The dramatiq command emits this event for you. It starts the thread
# behind time_limit, so a script has to emit it itself.
broker.emit_after("process_boot")
worker = Worker(broker, worker_threads=4)
worker.start()
try:
    sign_up.send(
        "YOUR_SITEKEY",
        os.environ.get("PAGE_URL", "https://example.com/signup"),
        "[email protected]",
    )
    # fail_fast=False: do not re-raise an actor's exception out of join
    broker.join("captcha", fail_fast=False)
    worker.join()
finally:
    worker.stop()
print("dead-lettered messages:", len(broker.dead_letters))

tasks.py dosyasını içeren klasörden, PowerShell’de:

# PowerShell
$env:PAGE_URL = "https://your-page/signup"
.venv\Scripts\python run_local.py

cmd’de set PAGE_URL=https://your-page/signup komutunu, ardından aynı python komutunu çalıştırın.

emit_after satırı time_limit’in arkasındaki izleyici iş parçacığını başlatır. dramatiq komutu bunu sizin için yapar, bir script’in ise kendisi yapması gerekir; o olmadan 6 saniyelik bir çözümde 2 saniyelik limit actor’ın 7,8 ile 7,9 saniye çalışmasına izin verdi. Dramatiq 2’de broker’ın join metodu, fail_fast=False geçmezseniz dead letter’a düşen bir mesajın istisnasını da yeniden fırlatır. Mock’a karşı bir mesaj çalıştı, form bir gönderimi kabul etti ve script 0 dead letter mesajı yazdırdı.

time_limit neyi kesebilir, neyi kesemez

TimeLimit middleware’i bir izleyici iş parçacığını saniyede bir uyandırır. Limitini aşmış bir mesaj için izleyici CPython’dan worker iş parçacığında TimeLimitExceeded fırlatmasını ister ve bu, iş parçacığı bir sonraki sefer Python kodu çalıştırdığında ulaşır. Uyuyan ya da bir socket’i bekleyen bir iş parçacığı hiç çalıştırmaz. Dramatiq kullanıcı kılavuzu varsayılan değeri 10 dakika olarak verir; bu değer 2. Adım’daki hesabı zaten aşar.

SDK, durum yoklamaları arasında en fazla 5 saniye uyur; bu yüzden uykunun ortasında tetiklenen bir limit ancak uyku bittiğinde etkili olur (aşağıdaki ilk iki satır). Sessiz bir CapSkip daha kötüdür (üçüncü ve dördüncü satırlar). SDK gönderildiği hâliyle, actor takılan çağrı dönene kadar çalışmaya devam etti ve onu yalnızca 1. Adım yaması 30 saniyelik okuma zaman aşımında sınırladı. Yani time_limit ancak her engelleyici çağrının kendi zaman aşımı varsa tutar.

TimeLimitExceeded, BaseException sınıfından türer; bu yüzden Exception için bir işleyici onu yakalamaz. BaseException için bir işleyici yakalar ve Dramatiq bunu başarı sayar (son satır). Başarısız bir çözümü günlüğe yazmak için CapSkipError yakalayın.

Mock kurulumuNe oldu
CapSkip hiç bitirmiyor, limit 3 sn3,8 sn’de ya da 7,8 sn’de durdu; izleyicinin saniyelik tikinin SDK uykularına göre nereye düştüğüne bağlıydı (iki Python’da yaptığım çalıştırmalarda beşe bir)
CapSkip hiç bitirmiyor, limit 8 snİki Python’da da yaklaşık 12,9 sn’de durdu
Durum çağrısı 25 sn sessiz, yama yok, limit 3 snLimit 3 ile 4 sn içinde günlüğe yazıldı, actor 25,0 sn’ye kadar çalışmaya devam etti ve o yanıttaki token’ı hiç kullanmadı
Durum çağrısı 45 sn sessiz, 1. Adım yaması, limit 3 sn30,0 sn’de durdu
Limit 330 yazılmış (saniye alışkanlığı), 6 sn’lik çözümHer deneme 2 sn içinde durdu; dört çözüm boşa gitti, sonra bir dead letter
Çözümün çevresinde BaseException için işleyiciMesaj başarı sayıldı, yeniden deneme yok, dead letter yok

Dramatiq hangi hataları yeniden dener

Retries middleware’i varsayılan olarak açıktır ve varsayılanları bir CAPTCHA için cömerttir. Onları çalışan bir broker’dan okudum: 20 yeniden deneme, ilk yeniden denemenin 15 ile 30 saniye beklemesini sağlayan 15 saniyelik asgari geri çekilme ve 7 günlük bir üst sınır. Seçeneksiz bir actor, reddedilen bir sitekey’i 20 kereye kadar yeniden denerdi.

max_retries seçeneği denemeleri değil yeniden denemeleri sayar ve actor’dan çıkan her istisna sayılır, TimeLimitExceeded dahil. retry_when geçmek tüm kontrolü devralır; worth_retrying kendi sayacını bu yüzden tutar. "throws" actor seçeneği yeniden denemeleri sınıfa göre atlar ve bir info satırı yazar, ama ApiException hem başarısız bir çözümü hem reddedilen bir anahtarı kapsar; bu yüzden örnek retry_when kullanır. worth_retrying hayır dediğinde günlük yine "Retries exceeded for message" der; onun üstündeki istisna satırını okuyun.

Her gecikme, min_backoff çarpı o ana kadarki yeniden deneme sayısının 2 üssü, çarpı 1 ile 2 arasında rastgele bir çarpandır; bu değer max_backoff’u geçerse max_backoff’un yarısı ile tamamı arasında yeniden çekilir. 300 ve 2000 ile aralıklar 300 ile 600, 600 ile 1200 ve 1000 ile 2000 milisaniyedir; gördüğüm gecikmeler Python 3.11’de 453, 896 ve 1599, 3.14’te 477, 1028 ve 1219 idi. Her yeniden deneme yeni bir çözümdür ve terk edilen deneme CapSkip’te kimsenin okumadığı bir görev bırakır: 330 satırında dört görev gönderildi ve hiçbir token okunmadı.

Mock kurulumuNe oldu
Örnek actor, her çözüm başarısız4 çözüm, 3 yeniden deneme satırı, sonra "Retries exceeded" ve bir dead letter
Örnek actor, mock sitekey’i bir ERROR_ koduyla reddediyor (mock’un kuralı)1 çözüm, yeniden deneme yok, dead letter
Örnek actor, form her gönderime 404, 405 veya 400 yanıtı veriyorHer seferinde 1 çözüm, yeniden deneme yok, dead letter
Sade actor, max_retries 3, reddedilen anahtar hatasını fırlatıyorAsla işe yaramayacak bir isteğin 4 çalışması
Site ilk form gönderimine 403 yanıtı veriyor2 çözüm, ikinci token kabul edildi
Sade actor, throws ValidationException olarak ayarlı, onu fırlatıyor1 çalışma, bir info satırı, dead letter

Windows’ta worker’lar: iş parçacıkları, durdurmalar ve Server modu

dramatiq komutu adını verdiğiniz modülü yükler; bu yüzden tasks.py içindeki broker satırı bir worker’ın neyi tükettiğine karar verir. StubBroker ile başlatılan bir worker sadece boşta bekler, çünkü her sürecin kendi kuyruğu vardır; onu yalnızca komutu denetlemek için kullandım. Varsayılan olarak her mantıksal işlemci için bir süreç ve her birinde 8 iş parçacığı başlatır. Bu bilgisayarda 24 tane var ve varsayılan, "Worker process is ready for action" diyen 24 satır yazdırdı: her biri bir çözüm başlatabilen 192 iş parçacığı. CapSkip varsayılan olarak aynı anda 10 reCAPTCHA çözümü çalıştıracak şekilde ayarlıdır (Max. Threads ayarı; uygulamayı çalıştırmadım, bu yüzden kendi değerinizi kontrol edin) ve CapSkip içinde bekleyen bir görev yine de actor’ın time limit’ini tüketir. Bir süreç ve on iş parçacığıyla başlayın:

# From the folder that holds tasks.py: one process, ten threads
.venv\Scripts\dramatiq tasks --processes 1 --threads 10

Durdurmaya göre plan yapın. Komutu yavaş bir mock çözümüyle başlattım ve ona Ctrl+Break gönderdim. Komut 2 saniyeden kısa sürede 21 koduyla çıktı. İki Python’daki altı durdurma aynı sonucu verdi; ikisi çözüm bittikten sonraydı ve bitmeyen dört çözüm hiç okunmadı. Ana süreç sinyali worker’larına os.kill ile iletir ve CPython belgeleri şunu söyler: Windows’ta os.kill, iki konsol olayı dışındaki her sinyal numarası için bir süreci doğrudan sonlandırır ve numarayı çıkış kodu olarak kullanır. 21 o numaradır. Ctrl+C’yi ya da bir servis durdurmasını test etmedim; bu yüzden her durdurmayı çalışan çözümün öldürülmesi sayın.

Dramatiq bir mesajı ancak actor’ı bittikten sonra onaylar. Redis broker’ının kaynağında, ölü bir worker’ın onaylanmamış mesajları, kalp atışı 60 saniye (varsayılan) bayatlayınca kuyruğa geri döner. Bunu okudum, çalıştırmadım. Her iki durumda da mesaj sayfadan yeniden başlar.

Başka bir bilgisayardaki worker’lar için CapSkip’i Server moduna alın, sonra dramatiq komutunun ortamında CAPSKIP_HOST ayarlayın (API anahtarı doğrulaması açıksa CAPSKIP_API_KEY de). Server modunu açmak CapSkip portunu her adrese açar; bu yüzden worker’larınızdan biri olmayan her makineyi bir Windows Firewall engelleme kuralıyla engelleyin. Çözümler yine kendi Windows makinenizde gerçekleşir ve çözüm başına hiçbir şeye mal olmaz.

Sık görülen Dramatiq CAPTCHA hataları

GördüğünüzNedenDüzeltme
Bir denemeden sonra "Retries exceeded"worth_retrying bozuk bir sitekey, sayfa URL’si ya da API anahtarını veya formdan gelen bir 4xx yanıtını reddettiÜstündeki istisnayı okuyun, girdiyi düzeltin
Her denemede NetworkExceptionCapSkip kapalı ya da 127.0.0.1 üzerinde ve worker başka bir bilgisayardaCapSkip’i başlatın ya da Server modunu kullanın; ayrıntılar için API dokümantasyonu

FAQ

StubBroker bir Dramatiq CAPTCHA actor’ını test etmeye yeter mi?

Actor’ın kendi mantığı için evet: yeniden denemeler, geri çekilme, time limit’ler ve dead letter’lar burada gerçek worker iş parçacıklarıyla çalıştı. Bir broker’ın eklediği şeyi, örneğin bir worker öldükten sonra yeniden teslimi gösteremez.

Başka bir makinedeki worker’lar CapSkip’e ulaşabilir mi?

Evet, Server modu ile. CapSkip’i erişilebilir bir adresi olan bir Windows makinesinde çalıştırın ve worker’ların ortamında CAPSKIP_HOST ayarlayın. Actor değişmez.

Dramatiq bunda Celery’den farklı mı?

Dramatiq’in, hatası bir BaseException olan, milisaniye cinsinden tek bir time limit’i ve sizin yazdığınız bir fonksiyon olan bir yeniden deneme kuralı vardır. Geç onaylama ve prefetch şu kılavuzda ele alınır: Celery görevinde CAPTCHA çözme rehberi.

Kısa özet

Bir dramatiq captcha actor’ı için getirmeyi, çözümü ve form gönderimini tek bir denemede tutun, her süreyi milisaniye cinsinden yazın ve time_limit iş parçacığına ulaşabilsin diye SDK’nın HTTP çağrılarına bir zaman aşımı verin. Başarısız bir çözümü, sessiz bir CapSkip’i ya da reddedilen bir formu yeniden deneyin ve bir Windows durdurmasının çalışan bir çözümü öldüreceğini bekleyin. Kendi donanımınızda çalışan bir yerel captcha çözücü ile bir yeniden deneme ya da öldürülen bir çözüm zamandan başka bir şeye mal olmaz.