कैप्चा सॉल्वर प्रॉक्सी: कब चाहिए और कब नहीं

कैप्चा सॉल्वर प्रॉक्सी आपको तीन मामलों में चाहिए: साइट जाँचती है कि token या cookie उसी address से आया है जिससे आप ब्राउज़ करते हैं, आप इतनी बार हल करते हैं कि एक address पर rate limit लग जाता है, या टाइप उनमें से है जिनके लिए सेटअप गाइड कहती है कि साफ़ प्रॉक्सी चाहिए (reCAPTCHA, Turnstile, GeeTest)। इमेज वाले job और वे टाइप जिन पर CapSkip प्रॉक्सी थोपता नहीं, टेस्ट करते समय आपके अपने address से ठीक हल हो जाते हैं। CapSkip आपके अपने Windows PC पर चलता है, इसलिए बिना प्रॉक्सी वाला हल आपके अपने IP address से निकलता है, और task के साथ भेजी गई प्रॉक्सी हमेशा ऐप की प्रॉक्सी सूची पर भारी पड़ती है।
Proxyless या प्रॉक्सी वाला: कौन-से CAPTCHA टाइप प्रॉक्सी लेते हैं
हल CAPTCHA वेंडर को किए गए requests का एक समूह है जिन्हें CapSkip खुद करता है, और प्रॉक्सी सिर्फ़ वह address बदलती है जिससे वे निकलते हैं। CapSkip वह address इस क्रम में चुनता है:
- task के साथ भेजी गई प्रॉक्सी, जो उसके retries को भी अपने साथ रखती है।
- नहीं तो उस CAPTCHA टाइप की सूची में से एक प्रॉक्सी, जिसे ऐप में Configure Proxies के तहत सेट किया जाता है।
- नहीं तो आपका अपना IP address, जो गाइड के अनुसार तब तक चलता है जब तक बार-बार के requests उसे ब्लॉक नहीं करवा देते।
"Proxyless" का मतलब तीसरा चरण है, जो टेस्ट और कम वॉल्यूम के लिए सही डिफ़ॉल्ट है।
1.7.0 पर चारों SDK इमेज वाले method को छोड़कर हर solve method पर प्रॉक्सी स्वीकार करते हैं। मैंने यह चारों के source में पढ़ा और Python तथा Node.js को एक mock CapSkip के सामने चलाया। दाहिना कॉलम वह है जो CapSkip के दस्तावेज़ कहते हैं, कोई ऐसी चीज़ नहीं जो मैंने नापी हो।
| प्रकार | task पर प्रॉक्सी | CapSkip के दस्तावेज़ क्या कहते हैं |
|---|---|---|
| इमेज कैप्चा | SDK द्वारा ठुकराई गई | इमेज हल करने में प्रॉक्सी इस्तेमाल नहीं होती। |
| reCAPTCHA v2, v3, Enterprise | Accepted | भरोसेमंद हल के लिए ज़रूरी। तेज़ v2 हल के लिए residential या mobile प्रॉक्सी चाहिए। |
| Cloudflare Turnstile | Accepted | भरोसेमंद हल के लिए ज़रूरी। |
| Cloudflare cf_clearance | ज़रूरी, कोई SDK method नहीं | सिर्फ़ JSON createTask API पर है। डिफ़ॉल्ट रूप से बंद, और बंद रहते समय ERROR_TASK_NOT_SUPPORTED के साथ ठुकराया जाता है। |
| GeeTest | Accepted | भरोसेमंद हल के लिए ज़रूरी। |
| hCaptcha, CaptchaFox | Accepted | थोपी नहीं जाती। टेस्टिंग वॉल्यूम से ऊपर दस्तावेज़ एक pool माँगते हैं, क्योंकि वेंडर नेटवर्क को score देता है। |
| AWS WAF | Accepted | थोपी नहीं जाती। टेस्टिंग वॉल्यूम से ऊपर दस्तावेज़ एक pool माँगते हैं, क्योंकि साइटें CAPTCHA को rate limits और reputation नियमों के साथ जोड़ती हैं। |
| ALTCHA | Accepted | सिर्फ़ तब इस्तेमाल होती है जब CapSkip आपके लिए challenge_url से चैलेंज लाता है। |
| Capy Puzzle | Accepted | थोपी नहीं जाती, लेकिन वॉल्यूम पर चाहिए, क्योंकि हर हल एक live request पर ताज़ा पहेली खींचता है। |
| Friendly Captcha | Accepted | थोपी नहीं जाती। यह उसके बिना भी हल करता है, लेकिन सर्विस व्यस्त address के लिए कठिनाई बढ़ा देती है। |
| MTCaptcha | Accepted | थोपी नहीं जाती। सूची का इस्तेमाल चैलेंज लोड करने, उसकी इमेज लाने और जवाब सबमिट करने में होता है। |
| DataDome | Accepted | थोपी नहीं जाती। cookie सिर्फ़ उसी address से काम करती है जिसने उसे हल किया, इसलिए सूची खाली रखें, जब तक आपके अपने requests वही प्रॉक्सी इस्तेमाल न करें। |
सेटअप गाइड कहती है कि reCAPTCHA, Turnstile, hCaptcha, AWS WAF, GeeTest और CaptchaFox के लिए सफलता दर प्रॉक्सी तय करती हैं। API दस्तावेज़ जोड़ते हैं कि CapSkip hCaptcha, AWS WAF, CaptchaFox, Capy Puzzle, Friendly Captcha, DataDome और MTCaptcha में से किसी पर भी प्रॉक्सी नहीं थोपता।
जब प्रॉक्सी को आपके अपने requests से मेल खाना ज़रूरी हो
पहला कारण बाइंडिंग है: कुछ जवाब तभी काम करते हैं जब आपका अगला request उसी address से आए जिसने उन्हें कमाया। CapSkip के दस्तावेज़ यह दो के बारे में कहते हैं:
- DataDome cookie सिर्फ़ उसी address से काम करती है जिसने उसे हल किया, इसलिए आप task के साथ वही प्रॉक्सी भेजते हैं जिसे आपका scraper आगे इस्तेमाल करता रहेगा और cookie को उसी प्रॉक्सी से इस्तेमाल करते हैं। जो प्रॉक्सी हर कनेक्शन पर address बदलती है, वह काम करने वाली cookie नहीं बना सकती।
- Cloudflare cf_clearance cookie को उस address और User-Agent से बाँधता है जिसने उसे कमाया, और CapSkip बिना प्रॉक्सी वाले cf_clearance task को ठुकरा देता है। Cloudflare का अपना clearance पेज सिर्फ़ यह कहता है कि cookie उस विज़िटर और डिवाइस से बँधी है जिसे वह जारी हुई थी, इसलिए address वाले नियम को CapSkip की सलाह मानें।
hCaptcha के लिए दस्तावेज़ कहते हैं कि फ़ॉर्म उसी address से और उसी User-Agent के साथ सबमिट करें जिसे जवाब बताता है। MTCaptcha इसका उलटा है: उसके दस्तावेज़ साइट की जाँच को sitekey और domain तक बताते हैं, इसलिए वहाँ प्रॉक्सी मुख्य रूप से लोड बाँटती है। जब जवाब bound हो, तब एक ही प्रॉक्सी पेज लाने, हल करने और उसके बाद के requests, तीनों को कवर करती है।
प्रॉक्सी सूचियाँ, Max. Threads और rotation
कैप्चा सॉल्वर प्रॉक्सी का दूसरा कारण वॉल्यूम है। सेटअप गाइड कहती है कि Google और Cloudflare सीमित करते हैं कि एक address कितना हल कर सकता है, इसलिए एक IP से लगातार धारा का अंत ब्लॉक में होता है। इसका समाधान ऐप में एक सूची है, हर call में एक प्रॉक्सी नहीं। तीन सेटिंग्स मायने रखती हैं:
- Max. Threads तय करता है कि एक टाइप के कितने tasks एक साथ चलें। गाइड कम से कम threads जितनी प्रॉक्सी की सलाह देती है, और reCAPTCHA और Turnstile के Monitor टैब पर IP Bans की बढ़ती गिनती को इस संकेत की तरह पढ़ती है कि प्रॉक्सी बदलनी हैं।
- हर टाइप की अपनी सूची रहती है, Reuse proxies एक टाइप की सूची को दूसरे में कॉपी करता है, और Check Proxies मरी हुई प्रविष्टियों को जल्दी पकड़ता है।
- Rotate Proxy for Each Request CapSkip से कहता है कि हर CAPTCHA request के लिए सूची से नई प्रॉक्सी ले। Fast solve, एक AWS WAF विकल्प, हर thread को चार तक प्रॉक्सी कनेक्शन खोलने देता है, इसलिए अगर आपका प्लान कनेक्शन गिनता है तो इसे छोड़ दें।
अपने कोड में rotate कब करना है, यह कैप्चा प्रॉक्सी रोटेशन गाइड में बताया गया है।
एक task के साथ कैप्चा सॉल्वर प्रॉक्सी भेजें
submit request proxy फ़ील्ड लेता है, IP:PORT, login:password@IP:PORT या IP:PORT:LOGIN:PASSWORD के रूप में, और proxytype फ़ील्ड, जो HTTP, HTTPS, SOCKS5 या SOCKS5H है। टाइप के बिना CapSkip HTTP मान लेता है, और SOCKS4 ठुकराया जाता है। SOCKS5H host names को भी प्रॉक्सी पर resolve करता है।
SDK एक object लेते हैं जिसमें टाइप और address हों, या एक सादा string, जिसमें टाइप डिफ़ॉल्ट रूप से HTTP होता है (चारों source)। HTTP clients एक URL लेते हैं, इसलिए नीचे का helper एक को बदल देता है। वह scheme://user:password@host:port की अपेक्षा करता है, percent-encoded credentials को decode करता है और छूटा हुआ पोर्ट भर देता है। ऐसा password इस्तेमाल न करें जिसमें @ या कोलन हो, जिसे मैंने टेस्ट नहीं किया।
यह Python script binding वाले हिस्से का DataDome रूप चलाती है: वह पेज को प्रॉक्सी से लाती है, उसी प्रॉक्सी से हल करती है और cookie को उसी से इस्तेमाल करती है।
# python -m pip install capskip requests import re from urllib.parse import unquote, urlsplit import requests from capskip import CapSkip # The proxy as your HTTP client writes it: scheme://user:password@host:port PROXY_URL = "http://user:[email protected]:3128" PAGE_URL = "https://example.com/products" def capskip_proxy(url): """Rewrite a proxy URL as the type and address CapSkip takes.""" parts = urlsplit(url) scheme = parts.scheme.lower() port = parts.port or (1080 if scheme.startswith("socks") else 443 if scheme == "https" else 80) login = "" if parts.username: if not parts.password: raise ValueError("expected user:password in the proxy URL") login = f"{unquote(parts.username)}:{unquote(parts.password)}@" return {"type": scheme.upper(), "uri": f"{login}{parts.hostname}:{port}"} solver = CapSkip(host="127.0.0.1", port=8080) session = requests.Session() session.proxies = {"http": PROXY_URL, "https": PROXY_URL} # 1. Ask for the page through the proxy. A DataDome block page carries # the address of its challenge in an iframe. blocked = session.get(PAGE_URL, timeout=30) frame = re.search(r'<iframe[^>]+src="([^"]*captcha-delivery\.com/[^"]+)"', blocked.text) if not frame: raise SystemExit("no challenge iframe: not a DataDome block page") captcha_url = frame.group(1).replace("&", "&") # 2. Solve through the same proxy. result = solver.datadome(captcha_url, PAGE_URL, proxy=capskip_proxy(PROXY_URL)) # 3. Use the cookie through that proxy, with the User-Agent the reply names. session.headers["User-Agent"] = result["userAgent"] session.headers["Cookie"] = result["cookie"] page = session.get(PAGE_URL, timeout=30) print(blocked.status_code, page.status_code) # 403 for the block page, then the page
Node.js में वही रूप है, और प्रॉक्सी लेने वाले fetch के लिए undici है। undici Node.js 22.19 या उससे नया घोषित करता है, जो इस उदाहरण की न्यूनतम सीमा तय करता है।
// npm install capskip undici
const { CapSkip } = require('capskip');
const { fetch, ProxyAgent } = require('undici');
// The proxy as your HTTP client writes it: scheme://user:password@host:port
const PROXY_URL = 'http://user:[email protected]:3128';
const PAGE_URL = 'https://example.com/products';
// Rewrite a proxy URL as the type and address CapSkip takes.
function capskipProxy(proxyUrl) {
const u = new URL(proxyUrl);
const scheme = u.protocol.replace(':', '');
const port = u.port || (scheme.startsWith('socks') ? '1080' : scheme === 'https' ? '443' : '80');
let login = '';
if (u.username) {
if (!u.password) throw new Error('expected user:password in the proxy URL');
login = `${decodeURIComponent(u.username)}:${decodeURIComponent(u.password)}@`;
}
return { type: scheme.toUpperCase(), uri: `${login}${u.hostname}:${port}` };
}
const solver = new CapSkip({ host: '127.0.0.1', port: 8080 });
const dispatcher = new ProxyAgent(PROXY_URL);
async function main() {
// 1. Ask for the page through the proxy. A DataDome block page carries
// the address of its challenge in an iframe.
const blocked = await fetch(PAGE_URL, { dispatcher });
const frame = (await blocked.text()).match(/<iframe[^>]+src="([^"]*captcha-delivery\.com\/[^"]+)"/);
if (!frame) throw new Error('no challenge iframe: not a DataDome block page');
const captchaUrl = frame[1].replace(/&/g, '&');
// 2. Solve through the same proxy.
const result = await solver.dataDome(captchaUrl, PAGE_URL, { proxy: capskipProxy(PROXY_URL) });
// 3. Use the cookie through that proxy, with the User-Agent the reply names.
const page = await fetch(PAGE_URL, {
dispatcher,
headers: { 'User-Agent': result.userAgent, Cookie: result.cookie },
});
console.log(blocked.status, page.status); // 403 for the block page, then the page
}
main();चारों SDK कोई भी request भेजने से पहले टाइप जाँचते हैं और इमेज job पर प्रॉक्सी ठुकरा देते हैं। मैंने Python और Node.js चलाए और PHP तथा .NET का source पढ़ा। यह script दोनों इनकार दिखाती है:
# python -m pip install capskip
from capskip import CapSkip, ValidationException
solver = CapSkip(host="127.0.0.1", port=8080)
# SOCKS4 is not a type CapSkip takes.
try:
solver.turnstile("YOUR_SITEKEY", "https://example.com/login",
proxy={"type": "SOCKS4", "uri": "203.0.113.10:1080"})
except ValidationException as err:
print(err)
# Image jobs take no proxy at all.
try:
solver.normal("captcha.png", proxy={"type": "HTTP", "uri": "203.0.113.10:3128"})
except ValidationException as err:
print(err)मैंने ब्लॉक अपने लिखे CapSkip, एक HTTP प्रॉक्सी और एक साइट के mocks के सामने चलाए, Python 3.11.7, 3.13.7 और 3.14.0 पर capskip 1.7.0 और requests 2.34.2 के साथ, और Node.js 24.22.0 पर capskip 1.7.0 और undici 8.12.4 के साथ। mock साइट पेज सिर्फ़ उस request को देती है जिसमें वही cookie और User-Agent हो जो mock CapSkip ने लौटाया था, जो मेरा नियम है। mock CapSkip ने प्रॉक्सी को user:pass@host:port के रूप में टाइप HTTP के साथ दर्ज किया, और mock प्रॉक्सी ने दोनों पेज fetch देखे। इनमें से कुछ भी नहीं दिखाता कि DataDome कैसे व्यवहार करता है।
मेरे PC पर असली CapSkip ऐप ने sitekey के बिना 33 अमान्य mt_captcha requests का जवाब दिया, इसलिए कोई भी task शुरू नहीं हो सका। उसने SOCKS4 के लिए, बिना पोर्ट के और पोर्ट 99999 के लिए ERROR_PROXY_FORMAT कहा, और तीन दस्तावेज़ित address formats, एक host name और एक छोटे अक्षरों वाला टाइप स्वीकार किया। build 4.3.0 या उससे नया था, सटीक version अपुष्ट, और एक method कवर हुआ।
प्रॉक्सी क्या ठीक नहीं कर सकती
- खराब reputation वाला सस्ता address। सेटअप गाइड कहती है कि नतीजा reputation तय करती है, protocol नहीं, और साझा address को दूसरे ग्राहक गिरा देते हैं।
- CapSkip द्वारा ठुकराई गई प्रॉक्सी। ERROR_PROXY_FORMAT का मतलब है कि वह मान पढ़ नहीं पाया, और ERROR_PROXY_MISSING का मतलब है कि जिस task को प्रॉक्सी चाहिए थी उसमें कोई नहीं थी। ERROR_PROXY_BANNED का मतलब है कि साइट की सुरक्षा ने प्रॉक्सी address को ब्लॉक कर दिया, और ERROR_PROXY_CONNECT_REFUSED का मतलब है कि CapSkip प्रॉक्सी के ज़रिए पेज तक नहीं पहुँच पाया। आख़िरी दोनों के लिए प्रॉक्सी बदल दें।
सर्वर पर CapSkip चलाना
CapSkip प्रॉक्सी कनेक्शन खुद बनाता है, इसलिए जिस मशीन पर वह चलता है, वही मशीन आपका प्रॉक्सी प्रदाता देखता है। अगर आपका प्रदाता सिर्फ़ सूचीबद्ध addresses को आने देता है, तो उस PC या server को सूची में डालें। Server mode को आप यहाँ चुनते हैं: कनेक्शन सेटिंग्स। इस मोड में आपकी scripts दूसरी मशीनों से CapSkip तक पहुँचती हैं, इसलिए हल server से निकलता है और आपका पेज fetch script वाली मशीन से। तब bound जवाब के लिए दोनों जगह एक ही प्रॉक्सी चाहिए। Server mode CapSkip को हर address से कनेक्शन स्वीकार करवाता है, इसलिए उसे सिर्फ़ अपनी मशीनों तक सीमित करने के लिए बाकी सब कुछ कवर करने वाला Windows Firewall block rule जोड़ें।
FAQ
क्या task के साथ भेजी गई प्रॉक्सी ऐप की सूची को override करती है?
हाँ। सेटअप गाइड कहती है कि task के साथ भेजी गई प्रॉक्सी उस टाइप की सूची की जगह इस्तेमाल होती है, और task के retries उसी पर रहते हैं।
कौन-से CapSkip टाइप प्रॉक्सी ठुकराते हैं?
सिर्फ़ इमेज job। SDK इमेज task पर कुछ भी भेजने से पहले प्रॉक्सी ठुकरा देते हैं, और बाकी हर टाइप उसे लेता है।
क्या हर हल को अलग प्रॉक्सी इस्तेमाल करनी चाहिए?
नहीं। एक हल कई requests करता है, इसलिए सेटअप गाइड पूरे हल के लिए एक address की सलाह देती है, और rotating gateway से कुछ मिनट के sticky sessions की।
संक्षेप में
टेस्ट करते समय बिना प्रॉक्सी के हल करें, जब जवाब आपके address से बँधा हो तब task में एक जोड़ें, और जब वॉल्यूम के कारण आप ब्लॉक होने लगें तब हर टाइप के लिए Max. Threads के हिसाब से एक सूची लोड करें। क्योंकि CapSkip एक कैप्चा सॉल्वर है जो आपके अपने हार्डवेयर पर चलता है, इसलिए नाकाम कोशिश पर सिर्फ़ एक retry लगता है। हर टाइप के parameters की सूची API डॉक्युमेंटेशन में दी गई है, और Python में client वाला हिस्सा Python गाइड में है। इसी तरह, Node.js गाइड में भी यही ब्योरा है।
