Task CAPTCHA Dramatiq: Atur Percobaan Ulang dan Batas Waktu dengan Benar

dramatiq captcha - Dramatiq CAPTCHA Tasks: Set Retries and Time Limits Right

Sebuah dramatiq captcha actor bisa salah di tiga tempat, dan ketiganya berasal dari cara Dramatiq menghitung. Opsi waktunya dalam milidetik, batas waktunya tidak bisa menginterupsi socket yang sedang menunggu, dan aturan percobaan ulangnya menghitung setiap exception yang keluar dari actor. Panduan ini menaruh pengambilan halaman, pemecahan CapSkip dan pengiriman formulir dalam satu actor, lalu mengukur di mana batas itu menghentikannya dan kegagalan mana yang layak dicoba ulang. Semuanya berjalan di Windows dengan StubBroker, jadi Anda tidak memerlukan Redis atau RabbitMQ.

Apa yang Anda butuhkan

  • PC Windows yang menjalankan CapSkip dengan pemecah reCAPTCHA aktif. Contoh ini memecahkan reCAPTCHA v2; bentuk yang sama cocok untuk tipe lain di Halaman pemecah CAPTCHA Python.
  • Python 3.10 atau lebih baru, minimum yang dinyatakan oleh dramatiq 2.2.1 dan capskip 1.7.0. Saya menjalankan semuanya di Python 3.11.7 dan 3.14.0 dengan requests 2.34.2, dan tidak di 3.10.
  • Tanpa message broker. StubBroker menyimpan antrean di dalam satu proses. Saya tidak memakai Redis maupun RabbitMQ, jadi tidak ada yang di sini yang menggambarkan broker sungguhan kecuali sebuah kalimat menyebut bahwa hal itu berasal dari source-nya.
  • Sebuah alamat untuk CapSkip. Di PC yang sama, 127.0.0.1 bawaan sudah cukup. Worker di PC lain memerlukan mode Server, yang membuat CapSkip mendengarkan di IP jaringan atau IP publik Anda, dan sakelarnya ada di bagian pengaturan koneksi pada panduan penyiapan.

Pengujian: saya menulis mock CapSkip dan mock formulir pendaftaran, menyetel waktu pemecahan mock sendiri, dan tidak memakai aplikasi asli maupun situs reCAPTCHA sungguhan. Setiap pengukuran waktu di bawah adalah pengukuran mock. Ia menunjukkan bagaimana Dramatiq dan SDK berperilaku di sekitar sebuah pemecahan, bukan berapa lama pemecahan berlangsung, dan kegagalan yang dihasilkan mock adalah aturan saya, bukan perilaku CapSkip.

Instal ketiga paket ke dalam virtual environment yang baru:

# Windows, in PowerShell or cmd
python -m venv .venv
.venv\Scripts\python -m pip install dramatiq capskip requests

Langkah 1: broker, dan SDK yang bisa timeout

Taruh blok ini di bagian atas tasks.py. Baris StubBroker adalah satu-satunya bagian yang spesifik untuk broker; antrean sungguhan akan membangun RedisBroker atau RabbitmqBroker di situ. Patch ini ada karena capskip 1.7.0 memanggil requests.post dan requests.get tanpa timeout; saya membaca api.py di paket yang terinstal. Jika CapSkip menerima koneksi dan tidak pernah menjawab, panggilan menunggu selama yang diizinkan sistem operasi, dan batas waktu Dramatiq tidak bisa membantu. Patch ini menukar referensi requests di dalam capskip.api, bagian internal SDK, dan blok ini gagal dengan keras saat import jika referensi itu menghilang. SDK mengabaikan CAPSKIP_HOST, CAPSKIP_PORT dan CAPSKIP_API_KEY kecuali kode Anda membacanya, jadi blok ini membacanya dan meneruskannya ke konstruktor.

# tasks.py, part 1: put this at the top of tasks.py
import functools
import os
import types

import capskip.api
import dramatiq
import requests
from capskip import ApiException, CapSkip, NetworkException, TimeoutException
from dramatiq.brokers.stub import StubBroker
from dramatiq.middleware import TimeLimitExceeded

# The StubBroker keeps the queue inside this process, so it needs no Redis
# or RabbitMQ. In production, build a RedisBroker or a RabbitmqBroker here
# and pass it to dramatiq.set_broker the same way.
broker = StubBroker()
dramatiq.set_broker(broker)

# capskip 1.7.0 calls requests.post and requests.get with no timeout, and
# time_limit cannot interrupt a socket that is waiting. Give every SDK call
# 5 seconds to connect and 30 seconds of silence on a read.
if not hasattr(capskip.api, "requests"):
    raise RuntimeError("capskip changed how it makes HTTP calls: recheck this patch")
capskip.api.requests = types.SimpleNamespace(
    RequestException=requests.RequestException,
    post=functools.partial(requests.post, timeout=(5, 30)),
    get=functools.partial(requests.get, timeout=(5, 30)),
)

# The SDK does not read these variables itself; this code passes them in.
solver = CapSkip(
    apiKey=os.environ.get("CAPSKIP_API_KEY", "capskip"),
    host=os.environ.get("CAPSKIP_HOST", "127.0.0.1"),
    port=int(os.environ.get("CAPSKIP_PORT", "8080")),
)

Langkah 2: actor, dengan setiap waktu dalam milidetik

Actor dramatiq captcha memuat halaman untuk mengambil cookie-nya, memecahkan, dan mengirim formulir dalam satu percobaan. Hasil CapSkip dibaca sekali dan token menjadi kedaluwarsa setelah sekitar dua menit (berapa lama token reCAPTCHA tetap valid), sehingga percobaan ulang harus dimulai dari halaman.

Setiap opsi waktu dalam milidetik: min_backoff di sini adalah 15 detik dan time_limit adalah 8 menit. Angka 8 menit itu hasil hitungan: 300 detik polling SDK, tidur hingga 5 detik, dan empat panggilan HTTP yang masing-masing bisa menunggu 5 detik untuk terhubung dan 30 detik diam saat membaca, sekitar 445 detik ketika CapSkip menjadi diam.

worth_retrying berjalan setelah setiap percobaan yang gagal. Pemecahan yang gagal datang sebagai ApiException yang memuat ERROR_CAPTCHA_UNSOLVABLE (arti error itu) dan mungkin berhasil lain kali, begitu pula CapSkip yang tidak terjangkau, timeout SDK, batas Dramatiq, dan jawaban 403, 408, 429 atau 5xx dari formulir. Sitekey atau URL halaman yang hilang atau salah format ditolak saat task dikirim, dengan kode ERROR_ yang tidak memuat UNSOLVABLE, dan API key yang salah ditolak dengan cara yang sama, sehingga semuanya mengakhiri pesan itu; begitu juga jawaban 4xx dari formulir selain tiga di atas, yang akan datang lagi, dan begitu juga bug di kode Anda. Sitekey yang berformat benar tetapi salah masih bisa datang sebagai ERROR_CAPTCHA_UNSOLVABLE dan menghabiskan ketiga percobaan ulang; saya tidak bisa mengujinya terhadap aplikasi asli.

# tasks.py, part 2: add this below part 1
MAX_RETRIES = 3


def worth_retrying(retries_so_far, exc):
    # Dramatiq calls this after every failed attempt. While retry_when is
    # set, max_retries is ignored, so the count lives here.
    if retries_so_far >= MAX_RETRIES:
        return False
    if isinstance(exc, ApiException):
        # CapSkip reports a solve that failed this way. A refused sitekey,
        # page URL or API key would be refused again.
        return "ERROR_CAPTCHA_UNSOLVABLE" in str(exc)
    if isinstance(exc, requests.HTTPError):
        # 403 and 429 can mean a refused or expired token, 5xx a site hiccup;
        # a 404 or 400 would be answered the same way next time.
        status = exc.response.status_code if exc.response is not None else 0
        return status in (403, 408, 429) or status >= 500
    transient = (NetworkException, TimeoutException, TimeLimitExceeded, requests.RequestException)
    return isinstance(exc, transient)


@dramatiq.actor(
    queue_name="captcha",
    retry_when=worth_retrying,
    min_backoff=15_000,  # milliseconds, not seconds
    max_backoff=120_000,
    time_limit=480_000,  # milliseconds as well: 8 minutes
)
def sign_up(sitekey, page_url, email):
    with requests.Session() as session:
        session.get(page_url, timeout=(5, 30))  # picks up the page's cookies
        # Solve inside the attempt, right before the form submission: a result is
        # read once, and a token ages.
        token = solver.recaptcha(sitekey=sitekey, url=page_url)["code"]
        reply = session.post(
            page_url,
            data={"email": email, "g-recaptcha-response": token},
            headers={"Referer": page_url},
            timeout=(5, 30),
        )
        reply.raise_for_status()

Langkah 3: jalankan dengan thread worker sungguhan dan tanpa broker

Skrip ini memulai empat thread worker Dramatiq dalam satu proses, mengirim sebuah pesan dan menunggu antrean habis. Simpan sebagai run_local.py di samping tasks.py, ganti YOUR_SITEKEY dengan sitekey halaman yang boleh Anda otomatisasi, dan teruskan alamat halaman itu di PAGE_URL saat menjalankannya.

# run_local.py: real worker threads, no Redis or RabbitMQ
import os

from dramatiq import Worker

from tasks import broker, sign_up

# The dramatiq command emits this event for you. It starts the thread
# behind time_limit, so a script has to emit it itself.
broker.emit_after("process_boot")
worker = Worker(broker, worker_threads=4)
worker.start()
try:
    sign_up.send(
        "YOUR_SITEKEY",
        os.environ.get("PAGE_URL", "https://example.com/signup"),
        "[email protected]",
    )
    # fail_fast=False: do not re-raise an actor's exception out of join
    broker.join("captcha", fail_fast=False)
    worker.join()
finally:
    worker.stop()
print("dead-lettered messages:", len(broker.dead_letters))

Dari folder yang berisi tasks.py, di PowerShell:

# PowerShell
$env:PAGE_URL = "https://your-page/signup"
.venv\Scripts\python run_local.py

Di cmd, jalankan set PAGE_URL=https://your-page/signup lalu perintah python yang sama.

Baris emit_after memulai thread watcher di balik time_limit. Perintah dramatiq melakukannya untuk Anda dan skrip harus melakukannya sendiri; tanpanya, batas 2 detik pada pemecahan 6 detik membiarkan actor berjalan 7.8 sampai 7.9 detik. Metode join milik broker di Dramatiq 2 juga memunculkan ulang exception dari pesan yang masuk dead letter kecuali Anda meneruskan fail_fast=False. Terhadap mock, satu pesan berjalan, formulir menerima satu pengiriman dan skrip mencetak 0 pesan dead letter.

Apa yang bisa dan tidak bisa diinterupsi oleh time_limit

Middleware TimeLimit membangunkan thread watcher sekali per detik. Untuk pesan yang melewati batasnya, watcher meminta CPython memunculkan TimeLimitExceeded di thread worker, dan itu tiba saat thread tersebut berikutnya menjalankan kode Python. Thread yang sedang tidur, atau yang menunggu pada socket, tidak menjalankan kode apa pun. Lihat panduan pengguna Dramatiq untuk default 10 menit, yang sudah melampaui perhitungan di Langkah 2.

SDK tidur di antara polling status, hingga 5 detik, jadi batas yang terpicu di tengah tidur baru berlaku saat tidurnya selesai (dua baris pertama di bawah). CapSkip yang diam lebih buruk (baris ketiga dan keempat). Dengan SDK apa adanya, actor terus berjalan sampai panggilan yang macet kembali, dan hanya patch Langkah 1 yang membatasinya, pada timeout baca 30 detik. Jadi time_limit hanya bertahan jika setiap panggilan yang memblokir punya timeout sendiri.

TimeLimitExceeded diturunkan dari BaseException, jadi handler untuk Exception tidak menangkapnya. Handler untuk BaseException menangkapnya, dan Dramatiq lalu menghitungnya sebagai sukses (baris terakhir). Tangkap CapSkipError untuk mencatat pemecahan yang gagal.

Pengaturan mockApa yang terjadi
CapSkip tidak pernah selesai, batas 3 detikBerhenti pada 3.8 detik atau 7.8 detik, bergantung pada posisi tick satu detik milik watcher terhadap jeda tidur SDK (lima banding satu dalam eksekusi yang saya lakukan di dua Python)
CapSkip tidak pernah selesai, batas 8 detikBerhenti pada sekitar 12.9 detik di kedua Python
Panggilan status diam selama 25 detik, tanpa patch, batas 3 detikBatas tercatat di log pada 3 sampai 4 detik, actor terus berjalan sampai 25.0 detik dan tidak pernah memakai token pada balasan itu
Panggilan status diam selama 45 detik, patch Langkah 1, batas 3 detikBerhenti pada 30.0 detik
Batas ditulis sebagai 330 (kebiasaan satuan detik), pemecahan 6 detikSetiap percobaan berhenti dalam 2 detik; empat pemecahan terbuang, lalu sebuah dead letter
Handler untuk BaseException di sekitar pemecahanPesan dihitung sebagai sukses, tanpa percobaan ulang, tanpa dead letter

Kegagalan mana yang dicoba ulang oleh Dramatiq

Middleware Retries aktif secara default dan default-nya terlalu longgar untuk CAPTCHA. Saya membacanya dari broker yang berjalan: 20 percobaan ulang, backoff minimum 15 detik, yang membuat percobaan ulang pertama menunggu 15 sampai 30 detik, dan batas atas 7 hari. Actor tanpa opsi akan mencoba ulang sitekey yang ditolak hingga 20 kali.

Opsi max_retries menghitung percobaan ulang, bukan percobaan, dan setiap exception yang keluar dari actor dihitung, termasuk TimeLimitExceeded. Meneruskan retry_when mengambil alih sepenuhnya, itulah sebabnya worth_retrying menyimpan hitungannya sendiri. Opsi actor "throws" melewati percobaan ulang berdasarkan class dan mencatat satu baris info, tetapi ApiException mencakup pemecahan yang gagal sekaligus key yang ditolak, jadi contoh ini memakai retry_when. Ketika worth_retrying menjawab tidak, log tetap berbunyi "Retries exceeded for message"; baca baris exception di atasnya.

Setiap jeda adalah min_backoff dikali 2 pangkat jumlah percobaan ulang sejauh ini, dikali faktor acak dari 1 sampai 2 dan, jika melewati max_backoff, diundi lagi antara setengah sampai seluruh max_backoff. Dengan 300 dan 2000, rentangnya adalah 300 sampai 600, 600 sampai 1200 dan 1000 sampai 2000 milidetik, dan jeda yang saya lihat adalah 453, 896 dan 1599 di Python 3.11 serta 477, 1028 dan 1219 di 3.14. Setiap percobaan ulang adalah pemecahan baru, dan percobaan yang ditinggalkan menyisakan task di CapSkip yang tidak dibaca siapa pun: pada baris 330, empat task dikirim dan tidak ada token yang dibaca.

Pengaturan mockApa yang terjadi
Actor contoh, setiap pemecahan gagal4 pemecahan, 3 baris retry, lalu "Retries exceeded" dan sebuah dead letter
Actor contoh, mock menolak sitekey dengan kode ERROR_ (aturan mock)1 pemecahan, tanpa percobaan ulang, masuk dead letter
Actor contoh, formulir menjawab 404, 405 atau 400 pada setiap pengiriman1 pemecahan setiap kali, tanpa percobaan ulang, masuk dead letter
Actor biasa, max_retries 3, memunculkan error key yang ditolak4 eksekusi dari request yang tidak akan pernah berhasil
Situs menjawab 403 pada pengiriman formulir pertama2 pemecahan, token kedua diterima
Actor biasa, throws diatur ke ValidationException, memunculkannya1 eksekusi, satu baris info, masuk dead letter

Worker di Windows: thread, penghentian, dan mode Server

Perintah dramatiq memuat modul yang Anda sebutkan, jadi baris broker di tasks.py menentukan apa yang dikonsumsi worker. Dengan StubBroker, worker yang dijalankan hanya menganggur, karena setiap proses punya antrean sendiri; saya hanya memakainya untuk memeriksa perintahnya. Secara default ia memulai satu proses per prosesor logis dengan 8 thread masing-masing. PC ini punya 24, dan default mencetak 24 baris yang berbunyi "Worker process is ready for action": 192 thread yang masing-masing bisa memulai pemecahan. CapSkip disetel menjalankan 10 pemecahan reCAPTCHA sekaligus secara default (pengaturan Max. Threads; saya tidak menjalankan aplikasinya, jadi periksa nilai Anda sendiri), dan task yang menunggu di dalam CapSkip tetap menghabiskan batas waktu actor. Mulai dengan satu proses dan sepuluh thread:

# From the folder that holds tasks.py: one process, ten threads
.venv\Scripts\dramatiq tasks --processes 1 --threads 10

Rencanakan penghentiannya. Saya memulai perintah dengan pemecahan mock yang lambat lalu mengirim Ctrl+Break kepadanya. Perintah keluar kurang dari 2 detik kemudian dengan kode 21. Enam penghentian di kedua Python memberi hasil yang sama, dua di antaranya setelah pemecahan selesai, dan empat pemecahan yang belum selesai tidak pernah dibaca. Proses utama meneruskan sinyal ke worker-nya dengan os.kill, dan menurut dokumentasi CPython di Windows os.kill mengakhiri proses secara langsung untuk nomor sinyal apa pun kecuali dua event console, dengan memakai nomor itu sebagai exit code. 21 adalah nomor itu. Saya tidak menguji Ctrl+C atau penghentian service, jadi anggap setiap penghentian sebagai pembunuhan atas pemecahan yang sedang berjalan.

Dramatiq baru memberi acknowledgement pada sebuah pesan setelah actor-nya selesai. Di source broker Redis, pesan yang belum di-acknowledge milik worker yang mati dikembalikan ke antrean begitu heartbeat-nya basi selama 60 detik, yaitu default. Saya membacanya dan tidak menjalankannya. Bagaimanapun, pesan itu dimulai ulang dari halaman.

Untuk worker di PC lain, alihkan CapSkip ke mode Server, lalu setel CAPSKIP_HOST (dan CAPSKIP_API_KEY jika API key validation aktif) di environment perintah dramatiq. Mengaktifkan mode Server membuka port CapSkip untuk alamat mana pun, jadi blokir setiap mesin yang bukan salah satu worker Anda dengan aturan blokir Windows Firewall. Pemecahan tetap terjadi di mesin Windows Anda sendiri dan tidak dikenai biaya per pemecahan.

Error Dramatiq CAPTCHA yang umum

Apa yang Anda lihatPenyebabPerbaiki
"Retries exceeded" setelah satu percobaanworth_retrying menolak sitekey, URL halaman atau API key yang salah format, atau jawaban 4xx dari formulirBaca exception di atasnya, perbaiki inputnya
NetworkException pada setiap percobaanCapSkip ditutup, atau berada di 127.0.0.1 sementara worker di PC lainJalankan CapSkip, atau pakai mode Server; lihat dokumentasi API

FAQ

Apakah StubBroker cukup untuk menguji actor CAPTCHA Dramatiq?

Untuk logika actor itu sendiri, ya: percobaan ulang, backoff, batas waktu dan dead letter semuanya berjalan di sini dengan thread worker sungguhan. Ia tidak bisa menunjukkan apa yang ditambahkan broker, seperti pengiriman ulang setelah worker mati.

Bisakah worker di mesin lain menjangkau CapSkip?

Bisa, lewat mode Server. Jalankan CapSkip di mesin Windows dengan alamat yang dapat dijangkau dan setel CAPSKIP_HOST di environment worker. Actor-nya tidak berubah.

Apakah Dramatiq berbeda dari Celery untuk hal ini?

Dramatiq punya satu batas waktu, dalam milidetik, yang error-nya adalah BaseException, dan aturan percobaan ulang yang berupa fungsi yang Anda tulis. Late acknowledgement dan prefetch dibahas di panduan memecahkan CAPTCHA dalam sebuah task Celery.

Versi singkatnya

Untuk dramatiq captcha actor, simpan pengambilan halaman, pemecahan dan pengiriman formulir dalam satu percobaan, tulis setiap waktu dalam milidetik, dan beri panggilan HTTP milik SDK sebuah timeout agar time_limit bisa menjangkau thread-nya. Coba ulang pemecahan yang gagal, CapSkip yang diam, atau formulir yang ditolak, dan perkirakan penghentian Windows akan membunuh pemecahan yang sedang berjalan. Dengan pemecah captcha lokal di perangkat keras Anda sendiri, percobaan ulang atau pemecahan yang terbunuh hanya memakan waktu dan tidak lebih.