Dramatiq कैप्चा tasks: retries और time limits सही सेट करें

dramatiq captcha actor तीन जगह गलत होता है, और तीनों Dramatiq के गिनने के तरीके से आती हैं। इसके समय विकल्प मिलीसेकंड में हैं, इसकी time limit किसी इंतज़ार करते socket को बीच में नहीं रोक सकती, और इसका retry नियम actor से बाहर निकलने वाले हर exception को गिनता है। यह गाइड page fetch, CapSkip का solve और फ़ॉर्म सबमिशन को एक actor में रखती है, फिर नापती है कि limit उसे कहाँ रोकती है और कौन-सी विफलताएँ retry के लायक हैं। यह Windows पर StubBroker के साथ चलता है, इसलिए आपको Redis या RabbitMQ नहीं चाहिए।
आपको क्या चाहिए
- एक Windows PC जिस पर CapSkip चल रहा हो और reCAPTCHA solver चालू हो। नमूना reCAPTCHA v2 हल करता है; बाकी प्रकारों के लिए वही ढाँचा चलता है, जिन्हें यहाँ देखें: Python कैप्चा सॉल्वर पेज.
- Python 3.10 या उससे नया, यानी वह न्यूनतम वर्शन जो dramatiq 2.2.1 और capskip 1.7.0 घोषित करते हैं। मैंने सब कुछ Python 3.11.7 और 3.14.0 पर requests 2.34.2 के साथ चलाया, 3.10 पर नहीं।
- कोई message broker नहीं। StubBroker queue को एक ही process के भीतर रखता है। मैंने न Redis इस्तेमाल किया न RabbitMQ, इसलिए यहाँ कुछ भी किसी असली broker का वर्णन नहीं करता, जब तक कोई वाक्य यह न कहे कि वह source से आया है।
- CapSkip के लिए एक address। उसी PC पर डिफ़ॉल्ट 127.0.0.1 काफ़ी है। दूसरे PC के worker को Server mode चाहिए, जो CapSkip को आपके network या public IP पर सुनने वाला बनाता है, और इसे चालू करने की जगह यह है: सेटअप गाइड की कनेक्शन सेटिंग्स.
टेस्टिंग: मैंने एक mock CapSkip और एक mock sign-up form लिखा, mock के solve समय खुद तय किए, और कोई असली ऐप या reCAPTCHA साइट इस्तेमाल नहीं की। नीचे का हर timing एक mock timing है। यह दिखाता है कि solve के आसपास Dramatiq और SDK कैसे व्यवहार करते हैं, यह नहीं कि solve में कितना समय लगता है, और mock जो विफलता पैदा करता है वह मेरा नियम है, CapSkip का व्यवहार नहीं।
तीनों packages को एक नए virtual environment में इंस्टॉल करें:
# Windows, in PowerShell or cmd python -m venv .venv .venv\Scripts\python -m pip install dramatiq capskip requests
चरण 1: broker, और ऐसा SDK जो time out हो सके
इस ब्लॉक को tasks.py के सबसे ऊपर रखें। StubBroker वाली लाइन ही अकेला broker-specific हिस्सा है; असली queue में वहाँ RedisBroker या RabbitmqBroker बनेगा। patch इसलिए है कि capskip 1.7.0 requests.post और requests.get को बिना timeout के बुलाता है; मैंने इंस्टॉल किए package में api.py पढ़ी। अगर CapSkip कनेक्शन स्वीकार कर ले और कभी जवाब न दे, तो call उतनी देर इंतज़ार करती है जितनी operating system इजाज़त दे, और Dramatiq की time limit मदद नहीं कर सकती। patch capskip.api के भीतर requests का reference बदल देता है, जो SDK का एक internal हिस्सा है, और अगर वह reference गायब हो जाए तो ब्लॉक import पर ज़ोर से विफल होता है। SDK CAPSKIP_HOST, CAPSKIP_PORT और CAPSKIP_API_KEY को तब तक नहीं पढ़ता जब तक आपका कोड उन्हें न पढ़े, इसलिए ब्लॉक उन्हें पढ़कर constructor को देता है।
# tasks.py, part 1: put this at the top of tasks.py
import functools
import os
import types
import capskip.api
import dramatiq
import requests
from capskip import ApiException, CapSkip, NetworkException, TimeoutException
from dramatiq.brokers.stub import StubBroker
from dramatiq.middleware import TimeLimitExceeded
# The StubBroker keeps the queue inside this process, so it needs no Redis
# or RabbitMQ. In production, build a RedisBroker or a RabbitmqBroker here
# and pass it to dramatiq.set_broker the same way.
broker = StubBroker()
dramatiq.set_broker(broker)
# capskip 1.7.0 calls requests.post and requests.get with no timeout, and
# time_limit cannot interrupt a socket that is waiting. Give every SDK call
# 5 seconds to connect and 30 seconds of silence on a read.
if not hasattr(capskip.api, "requests"):
raise RuntimeError("capskip changed how it makes HTTP calls: recheck this patch")
capskip.api.requests = types.SimpleNamespace(
RequestException=requests.RequestException,
post=functools.partial(requests.post, timeout=(5, 30)),
get=functools.partial(requests.get, timeout=(5, 30)),
)
# The SDK does not read these variables itself; this code passes them in.
solver = CapSkip(
apiKey=os.environ.get("CAPSKIP_API_KEY", "capskip"),
host=os.environ.get("CAPSKIP_HOST", "127.0.0.1"),
port=int(os.environ.get("CAPSKIP_PORT", "8080")),
)चरण 2: actor, हर समय मिलीसेकंड में
dramatiq captcha actor cookies के लिए पेज लोड करता है, हल करता है, और फ़ॉर्म को एक ही कोशिश में सबमिट करता है। CapSkip का result एक ही बार पढ़ा जाता है और token लगभग दो मिनट बाद बासी हो जाता है (reCAPTCHA token कितनी देर तक वैध रहता है), इसलिए retry को पेज से ही शुरू होना चाहिए।
हर समय विकल्प मिलीसेकंड में है: यहाँ min_backoff 15 सेकंड है और time_limit 8 मिनट। 8 मिनट एक हिसाब है: SDK की polling के 300 सेकंड, 5 सेकंड तक की एक नींद, और चार HTTP calls जिनमें से हर एक कनेक्ट होने के लिए 5 सेकंड और read पर 30 सेकंड की चुप्पी तक इंतज़ार कर सकती है, यानी CapSkip के चुप हो जाने पर लगभग 445 सेकंड।
worth_retrying हर विफल कोशिश के बाद चलता है। विफल solve ApiException के रूप में आता है जिसमें ERROR_CAPTCHA_UNSOLVABLE होता है (इस error का मतलब) और अगली बार चल सकता है, जैसे पहुँच से बाहर CapSkip, SDK का timeout, Dramatiq की limit, और फ़ॉर्म से 403, 408, 429 या 5xx जवाब। गायब या गलत बनावट वाला sitekey या पेज URL task सबमिट करते समय ही ठुकरा दिया जाता है, ऐसे ERROR_ code के साथ जिसमें UNSOLVABLE नहीं होता, और गलत API key भी उसी तरह ठुकराई जाती है, इसलिए इन पर message खत्म हो जाता है; ऊपर के तीन के अलावा फ़ॉर्म का कोई भी 4xx जवाब भी, जो फिर वही आता, और आपके कोड का bug भी। सही बनावट का पर गलत sitekey फिर भी ERROR_CAPTCHA_UNSOLVABLE के रूप में आ सकता है और तीनों retries खर्च कर सकता है; मैं इसे असली ऐप पर टेस्ट नहीं कर सका।
# tasks.py, part 2: add this below part 1
MAX_RETRIES = 3
def worth_retrying(retries_so_far, exc):
# Dramatiq calls this after every failed attempt. While retry_when is
# set, max_retries is ignored, so the count lives here.
if retries_so_far >= MAX_RETRIES:
return False
if isinstance(exc, ApiException):
# CapSkip reports a solve that failed this way. A refused sitekey,
# page URL or API key would be refused again.
return "ERROR_CAPTCHA_UNSOLVABLE" in str(exc)
if isinstance(exc, requests.HTTPError):
# 403 and 429 can mean a refused or expired token, 5xx a site hiccup;
# a 404 or 400 would be answered the same way next time.
status = exc.response.status_code if exc.response is not None else 0
return status in (403, 408, 429) or status >= 500
transient = (NetworkException, TimeoutException, TimeLimitExceeded, requests.RequestException)
return isinstance(exc, transient)
@dramatiq.actor(
queue_name="captcha",
retry_when=worth_retrying,
min_backoff=15_000, # milliseconds, not seconds
max_backoff=120_000,
time_limit=480_000, # milliseconds as well: 8 minutes
)
def sign_up(sitekey, page_url, email):
with requests.Session() as session:
session.get(page_url, timeout=(5, 30)) # picks up the page's cookies
# Solve inside the attempt, right before the form submission: a result is
# read once, and a token ages.
token = solver.recaptcha(sitekey=sitekey, url=page_url)["code"]
reply = session.post(
page_url,
data={"email": email, "g-recaptcha-response": token},
headers={"Referer": page_url},
timeout=(5, 30),
)
reply.raise_for_status()चरण 3: असली worker threads के साथ बिना broker के चलाएँ
यह script एक ही process में चार Dramatiq worker threads शुरू करती है, एक message भेजती है और queue खाली होने तक इंतज़ार करती है। इसे tasks.py के बगल में run_local.py नाम से सेव करें, YOUR_SITEKEY की जगह किसी ऐसे पेज का sitekey लगाएँ जिसे आप ऑटोमेट कर सकते हैं, और चलाते समय उस पेज का address PAGE_URL में दें।
# run_local.py: real worker threads, no Redis or RabbitMQ
import os
from dramatiq import Worker
from tasks import broker, sign_up
# The dramatiq command emits this event for you. It starts the thread
# behind time_limit, so a script has to emit it itself.
broker.emit_after("process_boot")
worker = Worker(broker, worker_threads=4)
worker.start()
try:
sign_up.send(
"YOUR_SITEKEY",
os.environ.get("PAGE_URL", "https://example.com/signup"),
"[email protected]",
)
# fail_fast=False: do not re-raise an actor's exception out of join
broker.join("captcha", fail_fast=False)
worker.join()
finally:
worker.stop()
print("dead-lettered messages:", len(broker.dead_letters))tasks.py वाले फ़ोल्डर से, PowerShell में:
# PowerShell $env:PAGE_URL = "https://your-page/signup" .venv\Scripts\python run_local.py
cmd में set PAGE_URL=https://your-page/signup चलाइए और फिर वही python command।
emit_after लाइन time_limit के पीछे का watcher thread शुरू करती है। dramatiq command यह आपके लिए कर देता है और script को यह खुद करना पड़ता है; इसके बिना 6 सेकंड के solve पर 2 सेकंड की limit के बावजूद actor 7.8 से 7.9 सेकंड चला। Dramatiq 2 में broker का join मेथड dead-lettered message का exception दोबारा उठाता है, जब तक आप fail_fast=False न दें। mock के सामने एक message चला, फ़ॉर्म ने एक submission स्वीकार किया और script ने 0 dead-lettered messages छापे।
time_limit किसे रोक सकता है और किसे नहीं
TimeLimit middleware हर सेकंड एक watcher thread को जगाता है। जिस message ने अपनी limit पार कर ली हो, उसके लिए watcher CPython से कहता है कि worker thread में TimeLimitExceeded उठाए, और वह तब पहुँचता है जब वह thread अगली बार Python कोड चलाता है। सोता हुआ thread, या socket पर इंतज़ार करता thread, कोई कोड नहीं चला रहा होता। Dramatiq user guide में डिफ़ॉल्ट 10 मिनट दिया गया है, जो चरण 2 के हिसाब को पहले ही पार कर लेता है।
SDK status polls के बीच सोता है, 5 सेकंड तक, इसलिए जो limit सोने के बीच में लगती है वह तभी असर करती है जब नींद खत्म हो (नीचे की पहली दो पंक्तियाँ)। चुप CapSkip इससे बुरा है (तीसरी और चौथी पंक्ति)। जैसे SDK आता है वैसे में actor तब तक चलता रहा जब तक अटकी call लौट न आई, और सिर्फ़ चरण 1 का patch उसे 30 सेकंड के read timeout पर बाँध पाया। इसलिए time_limit तभी टिकती है जब हर blocking call का अपना timeout हो।
TimeLimitExceeded, BaseException से निकलता है, इसलिए Exception का handler उसे नहीं पकड़ता। BaseException का handler पकड़ता है, और तब Dramatiq उसे सफलता गिनता है (आखिरी पंक्ति)। विफल solve को log करने के लिए CapSkipError पकड़ें।
| Mock सेटअप | क्या हुआ |
|---|---|
| CapSkip कभी खत्म नहीं करता, limit 3 s | 3.8 s या 7.8 s पर रुका, इस पर निर्भर कि watcher की एक सेकंड वाली tick SDK की नींद के सापेक्ष कहाँ पड़ी (दो Python पर मेरे रनों में पाँच बनाम एक) |
| CapSkip कभी खत्म नहीं करता, limit 8 s | दोनों Python पर लगभग 12.9 s पर रुका |
| Status call 25 s तक चुप, कोई patch नहीं, limit 3 s | Limit 3 से 4 s पर log हुई, actor 25.0 s तक चलता रहा और उस reply के token को कभी इस्तेमाल नहीं किया |
| Status call 45 s तक चुप, चरण 1 का patch, limit 3 s | 30.0 s पर रुका |
| Limit 330 लिखी गई (सेकंड की आदत), 6 s का solve | हर कोशिश 2 s के भीतर रुक गई; चार solves बेकार गए, फिर एक dead letter |
| solve के चारों ओर BaseException का handler | Message सफल गिना गया, कोई retry नहीं, कोई dead letter नहीं |
Dramatiq किन विफलताओं को retry करता है
Retries middleware डिफ़ॉल्ट रूप से चालू है और इसके डिफ़ॉल्ट कैप्चा के लिए उदार हैं। मैंने उन्हें चलते हुए broker से पढ़ा: 20 retries, 15 सेकंड का न्यूनतम backoff, जिससे पहला retry 15 से 30 सेकंड इंतज़ार करता है, और 7 दिन की सीमा। बिना विकल्पों वाला actor किसी ठुकराए गए sitekey को 20 बार तक retry करता।
max_retries विकल्प retries गिनता है, कोशिशें नहीं, और actor से बाहर निकलने वाला हर exception गिना जाता है, TimeLimitExceeded समेत। retry_when देने पर वह पूरा नियंत्रण ले लेता है, इसीलिए worth_retrying अपनी गिनती खुद रखता है। actor का विकल्प "throws" class के आधार पर retries छोड़ देता है और एक info लाइन log करता है, पर ApiException विफल solve और ठुकराई गई key, दोनों को कवर करता है, इसलिए नमूना retry_when इस्तेमाल करता है। जब worth_retrying मना करता है, तब भी log में "Retries exceeded for message" लिखा आता है; उसके ऊपर की exception लाइन पढ़ें।
हर देरी min_backoff गुणा 2 की उतनी घात जितने retries अब तक हो चुके, गुणा 1 से 2 के बीच का कोई random factor है और, अगर वह max_backoff पार करे, तो max_backoff के आधे से पूरे के बीच फिर से निकाली जाती है। 300 और 2000 के साथ रेंज 300 से 600, 600 से 1200 और 1000 से 2000 मिलीसेकंड हैं, और मैंने जो देरियाँ देखीं वे Python 3.11 पर 453, 896 और 1599 थीं और 3.14 पर 477, 1028 और 1219। हर retry एक नया solve है, और छोड़ी गई कोशिश CapSkip में एक ऐसा task छोड़ जाती है जिसे कोई नहीं पढ़ता: 330 वाली पंक्ति में चार tasks सबमिट हुए और कोई token नहीं पढ़ा गया।
| Mock सेटअप | क्या हुआ |
|---|---|
| नमूना actor, हर solve विफल | 4 solves, 3 retry लाइनें, फिर "Retries exceeded" और एक dead letter |
| नमूना actor, mock sitekey को ERROR_ code के साथ ठुकराता है (mock का अपना नियम) | 1 solve, कोई retry नहीं, dead-lettered |
| नमूना actor, फ़ॉर्म हर submission पर 404, 405 या 400 देता है | हर बार 1 solve, कोई retry नहीं, dead-lettered |
| साधारण actor, max_retries 3, ठुकराई गई key वाली error उठाता हुआ | ऐसे request के 4 रन जो कभी काम नहीं कर सकता था |
| साइट पहले फ़ॉर्म submission पर 403 देती है | 2 solves, दूसरा token स्वीकार हुआ |
| साधारण actor, throws को ValidationException पर सेट किया, वही उठाता हुआ | 1 रन, एक info लाइन, dead-lettered |
Windows पर workers: threads, stops और Server mode
dramatiq command वह module लोड करता है जिसका आप नाम दें, इसलिए tasks.py की broker वाली लाइन तय करती है कि worker क्या consume करे। StubBroker के साथ शुरू किया गया worker बस खाली बैठा रहता है, क्योंकि हर process की अपनी queue होती है; मैंने उसे सिर्फ़ command जाँचने के लिए इस्तेमाल किया। डिफ़ॉल्ट रूप से वह हर logical processor पर एक process शुरू करता है, हर एक में 8 threads के साथ। इस PC में 24 हैं, और डिफ़ॉल्ट ने "Worker process is ready for action" कहती 24 लाइनें छापीं: 192 threads, जिनमें से हर एक solve शुरू कर सकता है। CapSkip डिफ़ॉल्ट रूप से एक साथ 10 reCAPTCHA solves चलाने के लिए सेट है (Max. Threads setting; मैंने ऐप नहीं चलाया, इसलिए अपना मान खुद जाँचें), और CapSkip के भीतर इंतज़ार करता task भी actor की time limit खाता रहता है। एक process और दस threads से शुरू करें:
# From the folder that holds tasks.py: one process, ten threads .venv\Scripts\dramatiq tasks --processes 1 --threads 10
रुकने की योजना बनाइए। मैंने command को धीमे mock solve के साथ शुरू किया और उसे Ctrl+Break भेजा। command 2 सेकंड से कम में code 21 के साथ बाहर निकल गया। दो Python पर छह stops ने वही नतीजा दिया, उनमें से दो solve खत्म होने के बाद, और चार अधूरे solves कभी पढ़े नहीं गए। main process signal को os.kill से अपने workers तक भेजता है, और CPython के दस्तावेज़ में लिखा है कि Windows पर os.kill किसी भी signal number के लिए, दो console events को छोड़कर, process को सीधे खत्म कर देता है, और उस number को exit code बनाता है। 21 वही number है। मैंने Ctrl+C या service stop टेस्ट नहीं किया, इसलिए हर stop को चलते हुए solve की kill मानिए।
Dramatiq किसी message को तभी acknowledge करता है जब उसका actor खत्म हो जाए। Redis broker के source में, मरे हुए worker के unacknowledged messages तब वापस queue में चले जाते हैं जब उसका heartbeat 60 सेकंड पुराना हो जाए, जो डिफ़ॉल्ट है। मैंने यह पढ़ा, चलाया नहीं। दोनों सूरतों में message पेज से दोबारा शुरू होता है।
दूसरे PC के workers के लिए, CapSkip को Server mode में बदलें, फिर dramatiq command के environment में CAPSKIP_HOST सेट करें (और अगर API key validation चालू है तो CAPSKIP_API_KEY भी)। Server mode चालू करने से CapSkip का port किसी भी address के लिए खुल जाता है, इसलिए जो भी machine आपका worker नहीं है उसे Windows Firewall block rule से रोकें। solves अब भी आपकी अपनी Windows मशीन पर होते हैं और हर solve पर कुछ खर्च नहीं करते।
Dramatiq कैप्चा की आम errors
| आप जो देखते हैं | कारण | फिक्स |
|---|---|---|
| एक कोशिश के बाद "Retries exceeded" | worth_retrying ने गलत बनावट वाले sitekey, पेज URL या API key को, या फ़ॉर्म के 4xx जवाब को ठुकरा दिया | उसके ऊपर की exception पढ़ें, input ठीक करें |
| हर प्रयास पर NetworkException | CapSkip बंद है, या 127.0.0.1 पर है जबकि worker दूसरे PC पर है | उसे शुरू करें, या Server mode इस्तेमाल करें; देखें: API डॉक्युमेंटेशन |
FAQ
क्या Dramatiq कैप्चा actor को टेस्ट करने के लिए StubBroker काफ़ी है?
actor के अपने logic के लिए, हाँ: retries, backoff, time limits और dead letters सब यहाँ असली worker threads के साथ चले। यह नहीं दिखा सकता कि broker क्या जोड़ता है, जैसे worker के मरने के बाद दोबारा delivery।
क्या दूसरी मशीन के workers CapSkip तक पहुँच सकते हैं?
हाँ, Server mode के ज़रिए। CapSkip को ऐसी Windows मशीन पर चलाएँ जिसका address पहुँच में हो और workers के environment में CAPSKIP_HOST सेट करें। actor वही रहता है।
क्या इसके लिए Dramatiq, Celery से अलग है?
Dramatiq में एक ही time limit है, मिलीसेकंड में, जिसकी error एक BaseException है, और retry का नियम एक function है जो आप लिखते हैं। देर से acknowledgement और prefetch की चर्चा इस गाइड में है: Celery task में कैप्चा हल करना.
संक्षेप में
dramatiq captcha actor के लिए fetch, solve और फ़ॉर्म सबमिशन को एक ही कोशिश में रखें, हर समय मिलीसेकंड में लिखें, और SDK की HTTP calls को एक timeout दें ताकि time_limit thread तक पहुँच सके। विफल solve, चुप CapSkip या ठुकराए गए फ़ॉर्म पर retry करें, और मानकर चलें कि Windows पर stop चलते solve को kill कर देगा। अपने ही हार्डवेयर पर चल रहे लोकल captcha सॉल्वर के साथ retry या kill हुआ solve बस समय लेता है, और कुछ नहीं।
