puppeteer-cluster कैप्चा: हर task में एक token से हल करें

puppeteer-cluster captcha - puppeteer-cluster CAPTCHA: Solve It With One Token Per Task

puppeteer-cluster captcha हल करने के लिए task function के भीतर solver को बुलाइए और token को एक local constant में रखिए। reCAPTCHA token एक ही बार चलता है, इसलिए tasks के बीच साझा किया गया एक token सिर्फ़ एक फ़ॉर्म पास करा सकता है। यह गाइड capskip Node.js package से वह script बनाती है, जो आपके अपने Windows PC पर चल रहे CapSkip ऐप से फिक्स्ड कीमत वाले लाइसेंस के तहत बात करता है, फिर तीन limits तय करती है: maxConcurrency, cluster timeout और retryLimit। एक पेज वाला संस्करण यहाँ है: Puppeteer कैप्चा सॉल्वर पेज.

आपको क्या चाहिए

  • Windows PC पर चलता CapSkip, जिस तक host और port से पहुँचा जाता है (डिफ़ॉल्ट रूप से 127.0.0.1 और 8080)। Server mode उसे आपके network या public IP पर सुनने वाला बनाता है, ताकि दूसरे PC का cluster वही solver इस्तेमाल कर सके। दोनों के बीच बदलाव कनेक्शन सेटिंग्स में होता है।
  • Puppeteer 25.17.0 के लिए Node.js 22.12 या उससे नया (उसका engines field), या Puppeteer 24.43.1 के लिए Node.js 18 या उससे नया। मैंने पहले के साथ Node 24.22.0 और 25.2.1 चलाए और दूसरे के साथ Node 20.11.1 और 24.22.0, Node 18 या 22 नहीं।
  • puppeteer-cluster 0.25.0 (कोई engines field नहीं, peer range Puppeteer 24.0.0 या उससे नया) और capskip 1.7.0 (Node 18 या उससे नया), यही वर्शन मैंने चलाए।
  • ऐसा पेज जिसे आप ऑटोमेट कर सकते हैं और जो reCAPTCHA v2 checkbox दिखाता है।

देखिए कि library का रिलीज़ कितना हाल का है। जब मैंने नवंबर 2026 में जाँचा, तब 0.25.0 (13 नवंबर 2025) सबसे नया रिलीज़ था, master में कोई नया commit नहीं था, और 112 issues और 16 pull requests खुले थे। यह archived नहीं है, और puppeteer-cluster README से पता चलता है कि यह रफ़्तार आपको जँचती है या नहीं।

puppeteer-cluster captcha script का टेस्ट कैसे हुआ: असली CapSkip ऐप या असली reCAPTCHA पेज के सामने नहीं। हर रन में मेरा लिखा in.php और res.php का एक mock इस्तेमाल हुआ, साथ में एक stand-in फ़ॉर्म साइट जिसमें g-recaptcha div, data-sitekey attribute और g-recaptcha-response नाम का छिपा textarea है। यह Google का widget नहीं है। नियम मेरे हैं: हर token का एक ही इस्तेमाल, token का अपने पेज के sitekey से मेल खाना ज़रूरी, और फ़ॉर्म को अपनी CSRF cookie चाहिए। mock उस sitekey को भी ठुकराता है जो उस shape नियम पर खरा नहीं उतरता जो मैंने CapSkip ऐप के source में पढ़ा। ज़्यादातर रन में PUPPETEER_EXECUTABLE_PATH के ज़रिए Chrome for Testing 156.0.8078.47 इस्तेमाल हुआ, और जैसा लिखा है वैसा install ब्लॉक उस Chrome के साथ भी चला जो npm डाउनलोड करता है (Puppeteer 25.17.0 के लिए 157.0.8103.50, 24.43.1 के लिए 148.0.7778.97)। npm 11 चेतावनी देता है कि [email protected] में एक install script है जो अभी allowScripts में शामिल नहीं है, फिर भी डाउनलोड हो गया। install scripts बंद होने पर script इस संदेश के साथ रुक जाती है: Could not find Chrome.

script बनाएँ

चरण 1: प्रोजेक्ट और settings बनाएँ

पहले package.json बनाइए: Windows पर npm 11.19.1 के साथ, बिना package.json वाले फ़ोल्डर के packages parent फ़ोल्डर में चले गए।

# PowerShell. Make the folder and its package.json first: with no
# package.json here, npm installs into the nearest parent folder that has one.
mkdir captcha-cluster
cd captcha-cluster
npm init -y
npm install puppeteer puppeteer-cluster capskip

Node.js 18 से 22.11 पर इसके बजाय npm install puppeteer@24 puppeteer-cluster capskip का इस्तेमाल करें। ऊपर वाली लाइन ने Node 20.11.1 पर Puppeteer 25.17.0 को EBADENGINE चेतावनियों के साथ इंस्टॉल किया, और फिर script इस error के साथ मर गई: ERR_REQUIRE_ESM.

इसके बाद cluster-solve.js नाम की फ़ाइल शुरू करें। यह ब्लॉक और चरण 2 से 4 के ब्लॉक इसी में क्रम से जाते हैं, और आखिरी ब्लॉक तक कुछ नहीं चलता। SDK खुद CAPSKIP variables में से कोई नहीं पढ़ता, इसलिए script host और port उनसे खुद पढ़ती है।

// cluster-solve.js: this block and the ones in Steps 2 to 4 go into one file.
const { Cluster } = require("puppeteer-cluster");
const { CapSkip, ApiException, ValidationException } = require("capskip");

const SOLVE_TIMEOUT = 90; // seconds the SDK waits for one token
const TASK_TIMEOUT = 150000; // milliseconds the cluster allows one whole task
const MAX_PAGES = 3; // tasks running at once, so also solves in flight
const RETRIES = 1; // extra attempts after a failed task

// Local mode is 127.0.0.1. In Server mode, set CAPSKIP_HOST to your CapSkip PC.
const solver = new CapSkip({
  host: process.env.CAPSKIP_HOST || "127.0.0.1",
  port: Number(process.env.CAPSKIP_PORT || 8080),
  recaptchaTimeout: SOLVE_TIMEOUT,
});

// Comma separated addresses of the pages that show the widget.
const FORM_URLS = (process.env.FORM_URLS || "https://example.com/form/1").split(",");
const outcomes = []; // one entry per task that finished without throwing

चरण 2: task के भीतर हल करें

हर task अपना पेज लोड करता है, sitekey पढ़ता है, उस पेज के address के लिए CapSkip से token माँगता है, उसे छिपे textarea में लिखता है और submit दबाता है। असली पेज पर वह textarea तब दिखता है जब Google की script widget render कर चुकी हो, जिसे solve का समय आम तौर पर ढक लेता है; मैंने सिर्फ़ स्थिर पेज टेस्ट किया। अगर आपकी साइट data-callback घोषित करती है, तो token लिखने के बाद उसे बुलाइए; मेरे stand-in में वह नहीं है, इसलिए मैंने उसे टेस्ट नहीं किया। status 200 की जाँच सिर्फ़ stand-in पर चलती है; असली साइटें अक्सर error के साथ 200 पर फ़ॉर्म दोबारा दिखाती हैं। Node.js में reCAPTCHA v2 गाइड में एक पेज वाला flow बताया गया है।

async function submitWithToken(page, url, token) {
  // Write the token into the widget's hidden textarea, then press submit.
  await page.$eval("#g-recaptcha-response", (el, value) => { el.value = value; }, token);
  const [response] = await Promise.all([
    page.waitForNavigation({ waitUntil: "domcontentloaded" }),
    page.click("button[type=submit]"),
  ]);
  if (response.status() !== 200) {
    throw new Error(`site answered ${response.status()} for ${url}`);
  }
  outcomes.push({ url, ok: true });
}

async function solveForm({ page, data }) {
  await page.goto(data.url, { waitUntil: "domcontentloaded" });
  const sitekey = await page.$eval(".g-recaptcha", (el) => el.dataset.sitekey);

  // The token is a local constant, so no other task can read or reuse it.
  const { code: token } = await solver.recaptcha(sitekey, page.url());
  await submitWithToken(page, data.url, token);
}

चरण 3: सिर्फ़ वही retry करें जो retry से ठीक हो सकता है

retryLimit task के उठाए हर error को retry करता है, इसलिए यह wrapper पहले error का type जाँचता है। ERROR_CAPTCHA_UNSOLVABLE कहने वाला ApiException बताता है कि CapSkip वह task हल नहीं कर सका, और नया task चल सकता है। कोई भी दूसरा ApiException और कोई भी ValidationException आपके request या आपकी limits से आता है, इसलिए wrapper उन्हें दर्ज करता है और task खत्म कर देता है। डिफ़ॉल्ट settings में CapSkip गायब या गलत बनावट वाले sitekey को तुरंत ठुकरा देता है (API docs में ERROR_GOOGLEKEY), जो wrapper में खत्म होता है; गलत डेटा वाले tasks को सूचीबद्ध करने वाली setting डिफ़ॉल्ट रूप से बंद है। wrapper no-slot ठुकराव को retry नहीं करता, क्योंकि cluster उसी भरी queue में तुरंत फिर retry करेगा: इसके बजाय maxConcurrency को घटाइए। जो app source मैंने पढ़ा उसमें, पेज के लिए गलत पर सही बनावट वाली key का जवाब unsolvable के रूप में आता है, इसलिए उसे तब तक retry किया जाता है जब तक retryLimit खत्म न हो जाए।

// Decide from the error type whether a second attempt could end differently.
function retryWouldHelp(err) {
  if (err instanceof ValidationException) return false; // the arguments are wrong
  if (err instanceof ApiException) return err.message.includes("ERROR_CAPTCHA_UNSOLVABLE");
  return true; // timeouts, network trouble, a site that said no
}

async function solveFormGuarded(job) {
  try {
    await solveForm(job);
  } catch (err) {
    if (retryWouldHelp(err)) throw err; // the cluster decides whether to retry
    outcomes.push({ url: job.data.url, ok: false, error: err.message });
  }
}

चरण 4: cluster शुरू करें और पेजों को queue में डालें

Chrome डिफ़ॉल्ट रूप से headless शुरू होता है, जैसा मैंने launch किए गए browser की command line पर देखा।

(async () => {
  const cluster = await Cluster.launch({
    concurrency: Cluster.CONCURRENCY_CONTEXT, // a private cookie jar per task
    maxConcurrency: MAX_PAGES,
    timeout: TASK_TIMEOUT,
    retryLimit: RETRIES,
  });
  // Without this listener a failed task gives no reason at all.
  cluster.on("taskerror", (err, data, willRetry) => {
    console.error(`${data.url}: ${err.message}${willRetry ? " (will retry)" : ""}`);
  });

  await cluster.task(solveFormGuarded);
  for (const url of FORM_URLS) cluster.queue({ url });
  await cluster.idle();
  await cluster.close();

  const accepted = outcomes.filter((o) => o.ok).length;
  console.log(`${accepted} of ${FORM_URLS.length} forms accepted`);
  for (const o of outcomes.filter((o) => !o.ok)) console.log(`gave up: ${o.url} ${o.error}`);
  process.exitCode = accepted === FORM_URLS.length ? 0 : 1;
})();
# PowerShell, in the project folder. Name the pages, then run the script.
$env:FORM_URLS = "https://example.com/form/1,https://example.com/form/2"
node cluster-solve.js

mock के सामने, आठ फ़ॉर्म, तीन पेज और 2 सेकंड के mock solve से 8 में से 8 फ़ॉर्म स्वीकार हुए और एक साथ अधिकतम 3 solves हुए। submit से token तक एक solve में 2 नहीं, 3.8 सेकंड लगे, क्योंकि SDK 0, 0.25, 0.75, 1.75 और 3.75 सेकंड पर poll करता है। बाकी runtime setups ने वही नतीजे दिए, और कोई चेतावनी log नहीं हुई।

puppeteer-cluster captcha का token task के भीतर ही क्यों रहता है

लुभावना शॉर्टकट task function के ऊपर एक variable है, ऐसा ढाँचा जिसे script छोड़ देती है।

// Do not add this. One variable shared by every task is the bug.
let sharedToken = null;

async function solveFormShared({ page, data }) {
  await page.goto(data.url, { waitUntil: "domcontentloaded" });
  const sitekey = await page.$eval(".g-recaptcha", (el) => el.dataset.sitekey);
  if (!sharedToken) {
    sharedToken = (await solver.recaptcha(sitekey, page.url())).code;
  }
  await submitWithToken(page, data.url, sharedToken);
}

mock में छह फ़ॉर्म से 3 solves, 3 स्वीकृत फ़ॉर्म और 6 ठुकराव मिले, retries समेत। पहले तीन tasks को खाली variable दिखता है और वे पास हो जाते हैं। इसके बाद का हर task आखिर में रखा token दोबारा इस्तेमाल करता है, जो किसी दूसरे sitekey का है या पहले ही इस्तेमाल हो चुका है। जैसी लिखी गई वैसी script ने 8 फ़ॉर्म के लिए 8 solves किए और कोई ठुकराव नहीं हुआ।

दूसरा जाल cookie jar है। डिफ़ॉल्ट मोड CONCURRENCY_CONTEXT हर task को एक निजी browser context देता है, और CONCURRENCY_PAGE एक ही साझा करता है। मेरा stand-in हर पेज लोड पर नई CSRF cookie सेट करता है, इसलिए जो tasks पहले लोड हुए वे विफल हो जाते हैं। आठ फ़ॉर्म में 10 रन के दौरान 12 से 14 solves, 5 से 8 CSRF ठुकराव और 6 या 7 स्वीकृत फ़ॉर्म लगे। स्थिर cookie वाली साइट नहीं टूटेगी।

तीन limits जिनका मेल होना ज़रूरी है

puppeteer-cluster captcha script में puppeteer-cluster का maxConcurrency option चल रहे solves को सीमित करता है, क्योंकि हर task एक solve बनाता है, और 0 का मतलब कोई सीमा नहीं। CapSkip की अपनी सीमा है: Settings की reCAPTCHA पंक्ति में "Max. Threads" setting, जिसका डिफ़ॉल्ट 10 है। अतिरिक्त tasks उसकी queue में "Wait Timeout" (डिफ़ॉल्ट 250 सेकंड) तक इंतज़ार करते हैं, और SDK timeout में वह इंतज़ार शामिल है। mock में, दो solve slots और चार पेजों के साथ, 4 सेकंड के solve में submit से token तक बिना इंतज़ार 7.8 सेकंड लगे और slot का इंतज़ार होने पर 12.8, क्योंकि SDK solve खत्म होने के बाद अपनी पहली जाँच पर token लेता है, और वह लगभग 3.8, 7.8 और 12.8 सेकंड पर जाँचता है। queue भी छोटी है। changelog कहता है कि CapSkip 2.4.0 से जो reCAPTCHA task भरी queue पर पहुँचता है उसे no-slot error के साथ ठुकरा दिया जाता है, और जो app source मैंने पढ़ा उसमें queue उतनी ही गहरी है जितना "Max. Threads"। मेरा mock वही नियम लगाता है: दो solve slots, दो की queue और एक साथ आठ पेजों के साथ 4 फ़ॉर्म स्वीकार हुए और 4 ने ERROR_NO_SLOT_AVAILABLE के साथ हार मान ली, जबकि चार पेज 8 में से 8 के लिए काफ़ी थे। maxConcurrency को "Max. Threads" के बराबर या उससे कम रखें, और याद रखें कि एक CapSkip पर दो clusters उसे साझा करते हैं। हर चल रहा solve एक IP address भी इस्तेमाल करता है, और setup guide कहता है कि CapSkip को कम से कम उतने proxies दें जितना "Max. Threads" है।

puppeteer-cluster timeout को SDK के इंतज़ार और पेज के काम के जोड़ से ज़्यादा होना चाहिए। cluster का डिफ़ॉल्ट 30 सेकंड है, और reCAPTCHA के लिए SDK 300 सेकंड इंतज़ार करता है, जब तक आप recaptchaTimeout सेट न करें। timeout option हटाकर और 40 सेकंड के mock solve के साथ, Timeout hit: 30000 script शुरू होने के लगभग 31 सेकंड बाद दिखा, लेकिन process लगभग 44 सेकंड पर बाहर निकला, क्योंकि छोड़ा गया task poll करता रहा। 3 सेकंड की SDK limit 3.8 सेकंड पर लगी, क्योंकि SDK अपनी deadline सिर्फ़ polls के बीच देखता है।

timeout solve को नहीं रोकता। mock में, 12 सेकंड के solve, चार फ़ॉर्म, दो पेज और एक retry के साथ, 5 सेकंड के cluster timeout से 4 फ़ॉर्म के लिए 8 solves हुए, 2 पेज के मुकाबले एक साथ 6 तक चल रहे थे, और 8 tokens ऐसे tasks को मिले जो पहले ही विफल हो चुके थे। 3 के SDK wait और 9 के cluster timeout पर timeout 3 exceeded संदेश मिला, और फिर भी 8 solves हुए। असली CapSkip उस solve को छोड़ देता है जिसे कोई poll नहीं करता, यह यहाँ नापा नहीं गया। setup guide कहता है कि जो solve अपने "Row Timeout" (reCAPTCHA के लिए 250 सेकंड) से ज़्यादा चले उसे रोक दिया जाता है, और जो app source मैंने पढ़ा उसमें मुझे ऐसा कोई कोड नहीं मिला जो polling रुकने पर job रद्द करे (पढ़ा है, चलाया नहीं)।

त्रुटियाँ, retryLimit और चुपचाप होने वाली विफलताएँ

puppeteer-cluster का retryLimit अतिरिक्त कोशिशें गिनता है: 1 का मतलब दो कोशिशें, 2 का मतलब तीन। जिस पेज को mock ने एक बार unsolvable बताकर ठुकराया था वह retry पर स्वीकार हो गया, और retryLimit 0 होने पर वह विफल हुआ और exit code 1 रहा।

चरण 3 के बिना, जिन errors को retries ठीक नहीं कर सकते उन्हें भी retry किया जाता है। retryLimit 2 पर गलत बनावट वाले sitekey ने तीन कोशिशें लीं, और SDK जिसे ValidationException बताता है उस असमर्थित option ने भी। wrapper के साथ हर एक ने एक ही ली। सही बनावट की जिस key को mock हमेशा unsolvable बताता रहा, उसने फिर भी तीनों लीं।

cluster.execute() उन retry नियमों को छोड़ देता है जिन्हें retryLimit सेट करता है: unsolvable-once वाले पेज पर retryLimit 2 होने पर उसने एक कोशिश के बाद reject कर दिया, जबकि cluster.queue() ने retry किया। queue में डाला गया विफल task भी चुप रहता है: जब न taskerror listener था और न कोई DEBUG variable, तो विफल रन ने सिर्फ़ summary छापा। DEBUG=puppeteer-cluster:log सेट करने पर हर विफलता के लिए एक लाइन छपी।

आप जो देखते हैंकारणफिक्स
Timeout hit: 30000cluster के डिफ़ॉल्ट ने task तब खत्म कर दिया जब CapSkip अब भी हल कर रहा थाcluster timeout को SDK के इंतज़ार से ऊपर सेट करें
timeout 90 exceededSDK ने token का इंतज़ार करना बंद कर दियाअपने PC पर solves नापें, फिर दोनों timeouts बढ़ाएँ
ERROR_GOOGLEKEYsitekey गायब है या reCAPTCHA key जैसा नहीं दिखताsitekey पढ़ने वाला selector जाँचें; retry न करें
ERROR_NO_SLOT_AVAILABLECapSkip तक उसकी queue की क्षमता से ज़्यादा tasks पहुँचेसेट करें maxConcurrency को "Max. Threads" के बराबर या उससे कम पर
ERROR_PAGEURLपेज का address गायब है या http या https address नहीं हैलोड हुए पेज का address दें; retry न करें
connect ECONNREFUSED 127.0.0.1:12999उस port पर कुछ नहीं सुन रहाCapSkip शुरू करें और host और port जाँचें
साइट ज़्यादातर submissions ठुकराती है (मेरा stand-in 403 देता है; आपका error पेज के साथ 200 दे सकता है)साझा token या साझा cookie jartoken को local रखें; डिफ़ॉल्ट मोड इस्तेमाल करें

सर्वर पर CapSkip का इस्तेमाल

puppeteer-cluster captcha script को सिर्फ़ host और port चाहिए। Local mode 127.0.0.1 पर सुनता है, इसलिए cluster को उसी PC पर चलना होगा। Server mode आपके network या public IP पर सुनता है, और आप CAPSKIP_HOST में उस Windows PC का address डालते हैं। मैंने सिर्फ़ 127.0.0.1 टेस्ट किया। Server mode इस तरह शुरू होता है कि CapSkip अपना port किसी भी address से आने देता है, और आपका अपना allow rule उसे संकरा नहीं करेगा, इसलिए जिन addresses को बाहर रहना चाहिए उनके लिए Windows Firewall block rule जोड़ें।

FAQ

क्या puppeteer-cluster मौजूदा Puppeteer के साथ चलता है?

script Puppeteer 25.17.0 और 24.43.1 पर चली। अगर आप pool खुद नहीं सँभालना चाहते, तो Crawlee गाइड में अपनी concurrency और retries वाले crawler की जानकारी है।

क्या मैं पहले हर पेज हल करके बाद में cluster चला सकता हूँ?

सुरक्षित तरीके से नहीं। reCAPTCHA वेरिफ़िकेशन docs के अनुसार token दो मिनट जीता है और एक बार चलता है, इसलिए task के किसी खाली पेज तक पहुँचने से पहले बनाया गया token बासी हो सकता है। task के भीतर माँगें, जैसा script करती है।

संक्षेप में

puppeteer-cluster captcha script का सार है: हर task के लिए एक solve, local constant में रखा token, और आपस में मेल खाती limits: maxConcurrency को उस संख्या के बराबर या उससे कम रखना जितने solves CapSkip एक साथ करता है, SDK के इंतज़ार से लंबा cluster timeout, और retries सिर्फ़ उन errors के लिए जिन्हें retry ठीक कर सकता है। CapSkip एक लोकल कैप्चा सॉल्वर है और फिक्स्ड कीमत वाले लाइसेंस पर चलता है, इसलिए retry आपके अपने PC पर सिर्फ़ समय लेता है और प्रति-solve कोई शुल्क नहीं। यही package सिर्फ़ reCAPTCHA नहीं, और भी हल करता है, और Node.js कैप्चा सॉल्वर पेज पर बताया गया है कि कौन-से प्रकार।