puppeteer-cluster CAPTCHA: Pecahkan dengan Satu Token per Task

puppeteer-cluster captcha - puppeteer-cluster CAPTCHA: Solve It With One Token Per Task

Untuk memecahkan captcha puppeteer-cluster, panggil pemecah CAPTCHA di dalam fungsi task dan simpan token dalam konstanta lokal. Token reCAPTCHA hanya berlaku sekali, jadi satu token yang dipakai bersama antar task hanya bisa meloloskan satu formulir. Panduan ini membangun skrip itu dengan paket Node.js capskip, yang berbicara dengan aplikasi CapSkip di PC Windows Anda sendiri dengan lisensi tetap, lalu menyetel tiga batas: maxConcurrency, timeout cluster, dan retryLimit. Versi untuk satu halaman ada di halaman pemecah CAPTCHA Puppeteer.

Apa yang Anda butuhkan

  • CapSkip berjalan di PC Windows, dijangkau lewat host dan port (127.0.0.1 dan 8080 secara default). Mode Server membuatnya mendengarkan di IP jaringan atau IP publik Anda, sehingga cluster di PC lain dapat memakai pemecah yang sama. Bagian pengaturan koneksi mengatur peralihan di antara keduanya.
  • Node.js 22.12 atau lebih baru untuk Puppeteer 25.17.0 (field engines-nya), atau Node.js 18 atau lebih baru untuk Puppeteer 24.43.1. Saya menjalankan Node 24.22.0 dan 25.2.1 dengan yang pertama dan Node 20.11.1 dan 24.22.0 dengan yang kedua, bukan Node 18 atau 22.
  • puppeteer-cluster 0.25.0 (tanpa field engines, rentang peer Puppeteer 24.0.0 atau lebih baru) dan capskip 1.7.0 (Node 18 atau lebih baru), versi yang saya jalankan.
  • Halaman yang boleh Anda otomatisasi dan menampilkan checkbox reCAPTCHA v2.

Periksa seberapa baru library itu dirilis. Saat saya memeriksa pada November 2026, 0.25.0 (13 November 2025) adalah rilis terbaru, master tidak punya commit yang lebih baru, dan ada 112 issue serta 16 pull request yang terbuka. Library itu tidak diarsipkan, dan README puppeteer-cluster menunjukkan apakah kecepatan itu cocok bagi Anda.

Cara skrip captcha puppeteer-cluster diuji: bukan terhadap aplikasi CapSkip asli atau halaman reCAPTCHA asli. Setiap eksekusi memakai mock in.php dan res.php buatan saya, ditambah situs formulir stand-in dengan div g-recaptcha, atribut data-sitekey dan textarea tersembunyi bernama g-recaptcha-response. Itu bukan widget dari Google. Aturannya milik saya: satu pemakaian per token, token harus cocok dengan sitekey halamannya, dan formulir membutuhkan cookie CSRF-nya. Mock juga menolak sitekey yang gagal pada aturan bentuk yang saya baca di source aplikasi CapSkip. Sebagian besar eksekusi memakai Chrome for Testing 156.0.8078.47 lewat PUPPETEER_EXECUTABLE_PATH, dan blok instalasi seperti yang tertulis juga berfungsi dengan Chrome yang diunduh npm (157.0.8103.50 untuk Puppeteer 25.17.0, 148.0.7778.97 untuk 24.43.1). npm 11 memperingatkan bahwa [email protected] memiliki install script yang belum tercakup oleh allowScripts, tetapi unduhan tetap terjadi. Dengan install script dimatikan, skrip berhenti dengan Could not find Chrome.

Membangun skripnya

Langkah 1: buat proyek dan pengaturannya

Buat package.json lebih dulu: dengan npm 11.19.1 di Windows, folder tanpa file itu membuat paketnya terinstal di folder induk.

# PowerShell. Make the folder and its package.json first: with no
# package.json here, npm installs into the nearest parent folder that has one.
mkdir captcha-cluster
cd captcha-cluster
npm init -y
npm install puppeteer puppeteer-cluster capskip

Pada Node.js 18 sampai 22.11, pakai npm install puppeteer@24 puppeteer-cluster capskip sebagai gantinya. Baris di atas pada Node 20.11.1 menginstal Puppeteer 25.17.0 dengan peringatan EBADENGINE, lalu skrip mati dengan ERR_REQUIRE_ESM.

Selanjutnya, mulai file bernama cluster-solve.js. Blok ini dan blok di Langkah 2 sampai 4 dimasukkan ke dalamnya secara berurutan, dan tidak ada yang berjalan sampai blok terakhir. SDK tidak membaca variabel CAPSKIP apa pun dengan sendirinya, jadi skrip membaca host dan port dari variabel itu sendiri.

// cluster-solve.js: this block and the ones in Steps 2 to 4 go into one file.
const { Cluster } = require("puppeteer-cluster");
const { CapSkip, ApiException, ValidationException } = require("capskip");

const SOLVE_TIMEOUT = 90; // seconds the SDK waits for one token
const TASK_TIMEOUT = 150000; // milliseconds the cluster allows one whole task
const MAX_PAGES = 3; // tasks running at once, so also solves in flight
const RETRIES = 1; // extra attempts after a failed task

// Local mode is 127.0.0.1. In Server mode, set CAPSKIP_HOST to your CapSkip PC.
const solver = new CapSkip({
  host: process.env.CAPSKIP_HOST || "127.0.0.1",
  port: Number(process.env.CAPSKIP_PORT || 8080),
  recaptchaTimeout: SOLVE_TIMEOUT,
});

// Comma separated addresses of the pages that show the widget.
const FORM_URLS = (process.env.FORM_URLS || "https://example.com/form/1").split(",");
const outcomes = []; // one entry per task that finished without throwing

Langkah 2: pecahkan di dalam task

Setiap task memuat halamannya, membaca sitekey, meminta token ke CapSkip untuk alamat halaman itu, menulisnya ke textarea tersembunyi dan menekan submit. Pada halaman sungguhan, textarea itu muncul setelah skrip dari Google merender widget, yang biasanya tercakup oleh waktu pemecahan; saya hanya menguji yang statis. Jika situs Anda mendeklarasikan data-callback, panggil sesudah menulis token; stand-in saya tidak punya, jadi saya tidak mengujinya. Pemeriksaan status 200 hanya cocok untuk stand-in; situs sungguhan sering menampilkan formulir lagi dengan error pada 200. Panduan reCAPTCHA v2 di Node.js membahas alur untuk satu halaman.

async function submitWithToken(page, url, token) {
  // Write the token into the widget's hidden textarea, then press submit.
  await page.$eval("#g-recaptcha-response", (el, value) => { el.value = value; }, token);
  const [response] = await Promise.all([
    page.waitForNavigation({ waitUntil: "domcontentloaded" }),
    page.click("button[type=submit]"),
  ]);
  if (response.status() !== 200) {
    throw new Error(`site answered ${response.status()} for ${url}`);
  }
  outcomes.push({ url, ok: true });
}

async function solveForm({ page, data }) {
  await page.goto(data.url, { waitUntil: "domcontentloaded" });
  const sitekey = await page.$eval(".g-recaptcha", (el) => el.dataset.sitekey);

  // The token is a local constant, so no other task can read or reuse it.
  const { code: token } = await solver.recaptcha(sitekey, page.url());
  await submitWithToken(page, data.url, token);
}

Langkah 3: coba ulang hanya yang bisa diperbaiki oleh percobaan ulang

retryLimit mencoba ulang setiap error yang dilempar sebuah task, jadi wrapper ini memeriksa tipe error lebih dulu. ApiException yang berbunyi ERROR_CAPTCHA_UNSOLVABLE berarti CapSkip tidak bisa memecahkan task itu, dan task baru mungkin berhasil. ApiException lainnya dan setiap ValidationException berasal dari request atau batas Anda, jadi wrapper mencatatnya dan mengakhiri task. Dengan pengaturan default, CapSkip langsung menolak sitekey yang hilang atau salah format (ERROR_GOOGLEKEY di dokumentasi API), yang berakhir di wrapper; pengaturan yang mendaftar task dengan data tidak valid mati secara default. Wrapper tidak mencoba ulang penolakan karena tidak ada slot, sebab cluster akan mencoba ulang seketika ke antrean penuh yang sama: turunkan maxConcurrency sebagai gantinya. Di source aplikasi yang saya baca, key yang berformat benar tetapi salah untuk halamannya dijawab sebagai unsolvable, jadi ia dicoba ulang sampai retryLimit habis.

// Decide from the error type whether a second attempt could end differently.
function retryWouldHelp(err) {
  if (err instanceof ValidationException) return false; // the arguments are wrong
  if (err instanceof ApiException) return err.message.includes("ERROR_CAPTCHA_UNSOLVABLE");
  return true; // timeouts, network trouble, a site that said no
}

async function solveFormGuarded(job) {
  try {
    await solveForm(job);
  } catch (err) {
    if (retryWouldHelp(err)) throw err; // the cluster decides whether to retry
    outcomes.push({ url: job.data.url, ok: false, error: err.message });
  }
}

Langkah 4: jalankan cluster dan antrekan halamannya

Chrome dimulai headless secara default, seperti yang saya lihat pada command line browser yang diluncurkan.

(async () => {
  const cluster = await Cluster.launch({
    concurrency: Cluster.CONCURRENCY_CONTEXT, // a private cookie jar per task
    maxConcurrency: MAX_PAGES,
    timeout: TASK_TIMEOUT,
    retryLimit: RETRIES,
  });
  // Without this listener a failed task gives no reason at all.
  cluster.on("taskerror", (err, data, willRetry) => {
    console.error(`${data.url}: ${err.message}${willRetry ? " (will retry)" : ""}`);
  });

  await cluster.task(solveFormGuarded);
  for (const url of FORM_URLS) cluster.queue({ url });
  await cluster.idle();
  await cluster.close();

  const accepted = outcomes.filter((o) => o.ok).length;
  console.log(`${accepted} of ${FORM_URLS.length} forms accepted`);
  for (const o of outcomes.filter((o) => !o.ok)) console.log(`gave up: ${o.url} ${o.error}`);
  process.exitCode = accepted === FORM_URLS.length ? 0 : 1;
})();
# PowerShell, in the project folder. Name the pages, then run the script.
$env:FORM_URLS = "https://example.com/form/1,https://example.com/form/2"
node cluster-solve.js

Terhadap mock, delapan formulir, tiga halaman dan pemecahan mock 2 detik memberi 8 dari 8 formulir diterima dan paling banyak 3 pemecahan sekaligus. Satu pemecahan memakan 3.8 detik dari submit sampai token, bukan 2, karena SDK melakukan polling pada 0, 0.25, 0.75, 1.75 dan 3.75 detik. Pengaturan runtime lainnya memberi hasil yang sama, tanpa peringatan di log.

Mengapa token puppeteer-cluster captcha tetap berada di dalam task

Jalan pintas yang menggoda adalah satu variabel di atas fungsi task, bentuk yang tidak dipakai skrip ini.

// Do not add this. One variable shared by every task is the bug.
let sharedToken = null;

async function solveFormShared({ page, data }) {
  await page.goto(data.url, { waitUntil: "domcontentloaded" });
  const sitekey = await page.$eval(".g-recaptcha", (el) => el.dataset.sitekey);
  if (!sharedToken) {
    sharedToken = (await solver.recaptcha(sitekey, page.url())).code;
  }
  await submitWithToken(page, data.url, sharedToken);
}

Di mock, enam formulir memberi 3 pemecahan, 3 formulir diterima dan 6 penolakan, termasuk percobaan ulang. Tiga task pertama melihat variabel kosong dan lolos. Setiap task berikutnya memakai ulang token yang tersimpan terakhir, yang milik sitekey lain atau sudah dipakai. Skrip seperti yang tertulis membuat 8 pemecahan untuk 8 formulir tanpa penolakan.

Jebakan lainnya adalah cookie jar. Mode default, CONCURRENCY_CONTEXT, memberi setiap task browser context pribadi, dan CONCURRENCY_PAGE membagikan satu. Stand-in saya menyetel cookie CSRF baru pada setiap pemuatan halaman, sehingga task yang memuat lebih awal gagal. Delapan formulir memakan 12 sampai 14 pemecahan, 5 sampai 8 penolakan CSRF dan 6 atau 7 formulir diterima dalam 10 eksekusi. Situs dengan cookie yang stabil tidak akan rusak.

Tiga batas yang harus selaras

Dalam skrip captcha puppeteer-cluster, opsi puppeteer-cluster maxConcurrency membatasi pemecahan yang sedang berjalan, karena setiap task membuat satu, dan 0 berarti tanpa batas. CapSkip punya batas sendiri: pengaturan "Max. Threads" di baris reCAPTCHA pada Settings, yang default-nya 10. Task tambahan menunggu di antreannya hingga "Wait Timeout" (250 detik secara default), dan timeout SDK sudah termasuk penantian itu. Di mock dengan dua slot pemecahan dan empat halaman, pemecahan 4 detik memakan 7.8 detik dari submit sampai token tanpa menunggu dan 12.8 dengan menunggu slot, karena SDK mengambil token pada pemeriksaan pertamanya setelah pemecahan berakhir, dan ia memeriksa pada sekitar 3.8, 7.8 dan 12.8 detik. Antreannya juga pendek. Changelog menyatakan bahwa sejak CapSkip 2.4.0 task reCAPTCHA yang tiba di antrean penuh ditolak dengan error no-slot, dan di source aplikasi yang saya baca antrean sedalam "Max. Threads". Mock saya menerapkan aturan itu: dengan dua slot pemecahan, antrean dua dan delapan halaman sekaligus, 4 formulir diterima dan 4 menyerah dengan ERROR_NO_SLOT_AVAILABLE, sedangkan empat halaman sudah cukup untuk 8 dari 8. Jaga maxConcurrency sama dengan atau di bawah "Max. Threads", dan ingat bahwa dua cluster pada satu CapSkip berbagi batas itu. Setiap pemecahan yang sedang berjalan juga memakai satu alamat IP, dan panduan penyiapan menyarankan memberi CapSkip proxy sedikitnya sebanyak "Max. Threads".

Timeout puppeteer-cluster harus melebihi penantian SDK ditambah pekerjaan halaman. Default cluster adalah 30 detik, dan SDK menunggu 300 untuk reCAPTCHA kecuali Anda menyetel recaptchaTimeout. Dengan opsi timeout dihapus dan pemecahan mock 40 detik, Timeout hit: 30000 muncul sekitar 31 detik setelah skrip dimulai, tetapi proses keluar pada sekitar 44, karena task yang ditinggalkan terus melakukan polling. Batas SDK 3 detik terpicu pada 3.8 detik, karena SDK hanya memeriksa tenggatnya di antara polling.

Timeout tidak menghentikan pemecahan. Di mock, dengan pemecahan 12 detik, empat formulir, dua halaman dan satu percobaan ulang, timeout cluster 5 detik menghasilkan 8 pemecahan untuk 4 formulir, hingga 6 berjalan sekaligus untuk 2 halaman, dan 8 token dikirim ke task yang sudah gagal. Penantian SDK 3 dengan timeout cluster 9 menghasilkan timeout 3 exceeded dan tetap 8 pemecahan. Apakah CapSkip sungguhan membuang pemecahan yang tidak di-polling siapa pun belum diukur di sini. Panduan penyiapan menyatakan pemecahan yang melebihi "Row Timeout"-nya (250 detik untuk reCAPTCHA) dihentikan, dan di source aplikasi yang saya baca saya tidak menemukan kode yang membatalkan pekerjaan ketika polling berhenti (dibaca, tidak dijalankan).

Error, retryLimit dan kegagalan senyap

Opsi puppeteer-cluster retryLimit menghitung percobaan tambahan: 1 berarti dua percobaan, 2 berarti tiga. Halaman yang sekali ditolak mock sebagai unsolvable diterima pada percobaan ulang, dan dengan retryLimit 0 ia gagal dan exit code-nya 1.

Tanpa Langkah 3, error yang tidak bisa diperbaiki oleh percobaan ulang tetap dicoba ulang. Pada retryLimit 2, sitekey yang salah format memakan tiga percobaan, begitu pula opsi yang tidak didukung, yang dilaporkan SDK sebagai ValidationException. Dengan wrapper, masing-masing hanya satu percobaan. Key berformat benar yang selalu dilaporkan mock sebagai unsolvable tetap memakan ketiganya.

cluster.execute() melewati aturan percobaan ulang yang diatur oleh retryLimit sebagai berikut: pada halaman unsolvable-sekali dengan retryLimit 2 ia menolak setelah satu percobaan, sementara cluster.queue() mencoba ulang. Task antrean yang gagal juga senyap: tanpa taskerror listener dan tanpa variabel DEBUG, eksekusi yang gagal hanya mencetak ringkasan. Menyetel DEBUG=puppeteer-cluster:log mencetak satu baris per kegagalan.

Apa yang Anda lihatPenyebabPerbaiki
Timeout hit: 30000Default cluster mengakhiri task saat CapSkip masih memecahkanSetel timeout cluster di atas penantian SDK
timeout 90 exceededSDK berhenti menunggu tokenUkur pemecahan di PC Anda, lalu naikkan kedua timeout
ERROR_GOOGLEKEYSitekey hilang atau tidak berbentuk seperti key reCAPTCHAPeriksa selector yang membaca sitekey; jangan coba ulang
ERROR_NO_SLOT_AVAILABLELebih banyak task sampai ke CapSkip daripada yang muat di antreannyaAtur maxConcurrency sama dengan atau di bawah "Max. Threads"
ERROR_PAGEURLAlamat halaman hilang atau bukan alamat http atau httpsTeruskan alamat halaman yang dimuat; jangan coba ulang
connect ECONNREFUSED 127.0.0.1:12999Tidak ada yang mendengarkan di port ituJalankan CapSkip dan periksa host dan port
Situs menolak sebagian besar pengiriman (stand-in saya menjawab 403; situs Anda mungkin menjawab 200 dengan halaman error)Token yang dipakai bersama atau cookie jar yang dipakai bersamaSimpan token secara lokal; pakai mode default

Menggunakan CapSkip di server

Skrip captcha puppeteer-cluster hanya membutuhkan host dan port. Mode Local mendengarkan di 127.0.0.1, jadi cluster harus berjalan di PC itu. Mode Server mendengarkan di IP jaringan atau IP publik Anda, dan Anda menyetel CAPSKIP_HOST ke PC Windows itu. Saya hanya menguji 127.0.0.1. Mode Server dimulai dengan CapSkip mengizinkan portnya dari alamat mana pun, dan aturan izin buatan Anda sendiri tidak akan mempersempitnya, jadi tambahkan aturan blokir Windows Firewall untuk alamat yang harus tetap di luar.

FAQ

Apakah puppeteer-cluster bekerja dengan Puppeteer yang terbaru?

Skrip berjalan di Puppeteer 25.17.0 dan 24.43.1. Jika Anda lebih suka tidak mengelola pool sendiri, lihat panduan Crawlee untuk crawler dengan konkurensi dan percobaan ulangnya sendiri.

Bisakah saya memecahkan setiap halaman lebih dulu dan menjalankan cluster sesudahnya?

Tidak aman. Dokumentasi verifikasi reCAPTCHA menyatakan token hidup dua menit dan hanya berlaku sekali, jadi token yang dibuat sebelum task-nya mencapai halaman yang bebas bisa sudah kedaluwarsa. Minta di dalam task, seperti yang dilakukan skrip.

Versi singkatnya

Skrip captcha puppeteer-cluster pada intinya adalah satu pemecahan per task, token yang disimpan dalam konstanta lokal, dan batas yang selaras: maxConcurrency sama dengan atau di bawah jumlah yang dipecahkan CapSkip sekaligus, timeout cluster yang lebih panjang dari penantian SDK, dan percobaan ulang hanya untuk error yang bisa diperbaiki oleh percobaan ulang. CapSkip adalah pemecah captcha lokal dengan lisensi tetap, sehingga percobaan ulang hanya memakan waktu di PC Anda sendiri dan tanpa biaya per pemecahan. Paket yang sama memecahkan lebih dari sekadar reCAPTCHA, dan halaman pemecah CAPTCHA Node.js menunjukkan tipe apa saja.