Cara Memecahkan CAPTCHA di Botasaurus Tanpa Ekstensi

botasaurus captcha - How to Solve CAPTCHA in Botasaurus Without an Extension

CAPTCHA di Botasaurus paling mudah ditangani langsung di dalam task itu sendiri, bukan lewat ekstensi browser. Dokumentasi Botasaurus sendiri mengarahkan Anda ke ekstensi cloud berbayar, yang memecahkan challenge secara tak terlihat dan menagih Anda untuk setiap percobaan. Memanggil solver langsung dari fungsi yang menggunakan decorator butuh lebih sedikit kode, dan Anda mendapat token sebagai nilai Python biasa yang bisa dicatat log, dijadikan dasar percabangan logika, dan dicoba ulang. Panduan ini membahas cara membaca sitekey, melakukan solve, menyuntikkan jawaban dengan driver.run_js, dan dua opsi decorator yang diam-diam merusak semuanya.

Apa yang Anda butuhkan

  • Python 3.10 atau yang lebih baru, versi yang ditargetkan kedua paket ini
  • Botasaurus sudah terinstal, ditambah solver client
  • CapSkip berjalan dan dapat dijangkau. Mode Local mendengarkan di 127.0.0.1 port 8080 saat scraper berjalan di mesin yang sama, dan Mode Server mendengarkan di jaringan atau IP publik Anda sehingga VPS atau container host bisa memanggilnya. Lihat pengaturan koneksi untuk keduanya
  • Halaman dengan widget sungguhan di dalamnya. Sitekey harus diambil dari DOM langsung (live DOM), karena nilainya berbeda per situs
# The scraper and the solver client, in one line.
python -m pip install --upgrade botasaurus capskip

Mengapa Bukan Lewat Ekstensi

Botasaurus mendukung ekstensi Chrome lewat decorator, dan dokumentasinya menunjukkan ekstensi CapSolver yang dihubungkan dengan API key. Itu berfungsi. Tapi itu juga menentukan tiga hal untuk Anda yang perlu diperhatikan.

Anda tidak pernah melihat token itu. Ekstensi menulis jawaban ke halaman sesuai jadwalnya sendiri, jadi kode Anda tidak punya nilai apa pun untuk diperiksa. Saat solve gagal, Anda mendapat halaman yang widget-nya masih belum terpecahkan, yang baru muncul belakangan sebagai error form yang membingungkan, bukan sebagai exception tepat di titik kegagalannya.

Setiap percobaan ditagih. API cloud per-solve mengubah retry menjadi item tagihan tersendiri. Botasaurus membuat ini lebih terasa dari biasanya, karena max_retry menjalankan ulang seluruh fungsi yang didekorasi, dan opsi parallel mengalikannya dengan jumlah browser. Sepuluh worker dengan tiga kali retry masing-masing bisa jadi kejadian nyata dalam satu sore dan tagihan yang tidak Anda rencanakan. Menjalankan solver di perangkat keras Anda sendiri menghilangkan perhitungan ini sepenuhnya, dan argumen itu dibahas lebih detail di halaman alternatif CapSolver.

API key Anda dikirim ke browser. Ekstensi dimuat ke dalam instance Chrome, lengkap dengan key-nya. Solver lokal hanya menerima request dari proses Python Anda, tidak lebih.

Langkah 1: membaca sitekey di dalam task

Semuanya terjadi di dalam fungsi yang didekorasi, tempat Anda sudah memiliki driver.

# python -m pip install botasaurus
from botasaurus.browser import browser, Driver, Wait

@browser(block_images=True)
def solve_login(driver: Driver, data):
    driver.get("https://example.com/page-with-recaptcha")

    # The widget is injected by script, so wait for it
    # rather than reading the DOM immediately.
    widget = driver.select("[data-sitekey]", wait=Wait.LONG)
    sitekey = widget.get_attribute("data-sitekey")

    return {"sitekey": sitekey}   # written to output/solve_login.json

Ada dua kebiasaan Botasaurus yang perlu dipahami di sini. Pemanggilan select mengembalikan elemen atau None, bukan melempar error, jadi widget yang tidak ditemukan baru muncul sebagai error NoneType satu baris kemudian kecuali Anda memeriksanya lebih dulu. Dan apa pun yang Anda return ditulis ke file JSON di dalam direktori output, dengan nama sesuai fungsinya, sehingga task yang belum selesai pun mudah diperiksa saat Anda masih membangunnya.

Langkah 2: solve, lalu suntikkan dengan driver.run_js

Botasaurus tidak menjalankan browser lewat Selenium, jadi resep execute_script yang Anda temukan di tempat lain tidak berlaku di sini. Padanannya adalah driver.run_js, yang menerima objek arguments sebagai parameter keduanya.

# python -m pip install capskip
from capskip import CapSkip

solver = CapSkip(host="127.0.0.1", port=8080)

result = solver.recaptcha(
    sitekey=sitekey,
    url="https://example.com/page-with-recaptcha",
)

# args is how Botasaurus passes Python values into the page.
driver.run_js(
    "document.getElementById('g-recaptcha-response').value = args.token",
    {"token": result["code"]},
)

Pemanggilan yang sama mencakup seluruh keluarga reCAPTCHA. Berikan invisible untuk widget invisible, enterprise untuk Enterprise, dan versi v3 dengan action untuk v3. Turnstile dan GeeTest adalah metode terpisah dengan bentuk yang sama. Untuk v3 Anda juga dapat memberikan min_score: CapSkip menerimanya agar kode yang dipindahkan dari layanan lain tetap berfungsi, tetapi opsi itu tidak mengubah token, karena Google yang menentukan skornya.

Jika div widget membawa atribut data-callback, panggil fungsi tersebut dengan token, bukan mengirim form. Halaman yang dibangun seperti itu tidak pernah memasang submit handler biasa, jadi klik pada tombolnya sama sekali tidak melakukan apa-apa.

Contoh lengkap yang berfungsi

# python -m pip install botasaurus capskip
from botasaurus.browser import browser, Driver, Wait
from capskip import CapSkip, NetworkException, TimeoutException

solver = CapSkip(host="127.0.0.1", port=8080)
PAGE = "https://example.com/page-with-recaptcha"

@browser(block_images=True, max_retry=3, retry_wait=10)
def scrape_behind_recaptcha(driver: Driver, data):
    driver.get(PAGE)

    widget = driver.select("[data-sitekey]", wait=Wait.LONG)
    if widget is None:
        return {"error": "no widget on the page"}

    try:
        result = solver.recaptcha(
            sitekey=widget.get_attribute("data-sitekey"),
            url=driver.run_js("return location.href"),
        )
    except (NetworkException, TimeoutException) as exc:
        # Raising here lets max_retry take another run at it.
        raise RuntimeError(f"solve failed: {exc}")

    driver.run_js(
        "document.getElementById('g-recaptcha-response').value = args.token",
        {"token": result["code"]},
    )
    driver.click("button[type='submit']")

    return {"title": driver.run_js("return document.title")}

scrape_behind_recaptcha()

Perhatikan bahwa URL halaman diambil dari browser, bukan dari nilai konstan. Jika situs melakukan redirect saat diakses, URL tempat widget dirender itulah yang dibutuhkan solve, dan memakai ulang literal Anda sendiri adalah penyebab paling umum token yang kemudian ditolak server.

Dua opsi decorator yang merusak solve

Keduanya adalah hal yang dilakukan Botasaurus dengan benar, dan justru karena itulah keduanya membingungkan ketika CAPTCHA terlibat.

Caching menyimpan nilai yang dikembalikan, dengan kunci berupa input-nya. Aktifkan opsi ini, jalankan input yang sama untuk kedua kalinya, dan framework akan langsung mengembalikan dictionary yang tersimpan tanpa membuka browser, sehingga tidak ada solve yang terjadi dan tidak ada request yang sampai ke solver. Ini berguna saat Anda menjalankan ulang scrape besar. Tapi ini terlihat seperti integrasi yang rusak saat Anda men-debug satu halaman, jadi bersihkan cache atau lepas opsi ini selama Anda bekerja.

Opsi proxy pada decorator adalah proxy untuk browser, bukan untuk solver. Keduanya adalah pengaturan terpisah dan harus saling cocok. Token yang dibuat dari IP Anda sendiri sementara browser berada di balik residential proxy adalah ketidakcocokan yang bisa dilihat situs, dan itulah sebabnya solve yang terverifikasi baik-baik saja secara terpisah bisa gagal di dalam alur sesungguhnya. Berikan endpoint yang sama ke pemanggilan solve:

PROXY = "user:[email protected]:3128"

@browser(proxy=f"http://{PROXY}")
def scrape(driver: Driver, data):
    result = solver.recaptcha(
        sitekey=sitekey,
        url=PAGE,
        proxy={"type": "HTTPS", "uri": PROXY},
    )

Proxy berlaku untuk reCAPTCHA, Turnstile, GeeTest dan CaptchaFox. CAPTCHA gambar tidak memerlukannya, karena tidak ada request ke pihak ketiga yang perlu dialihkan.

Menjalankan Banyak Browser Sekaligus

Di sinilah solver lokal benar-benar terbukti manfaatnya. Mengatur opsi parallel pada decorator akan membuka sejumlah browser tersebut, masing-masing menjalankan fungsi Anda dengan input sendiri, dan masing-masing menghadapi challenge-nya sendiri.

@browser(parallel=8, reuse_driver=True, block_images=True)
def scrape_behind_recaptcha(driver: Driver, data):
    ...

scrape_behind_recaptcha([url1, url2, url3])

Satu objek client aman digunakan bersama oleh kedelapan browser tersebut, karena setiap pemanggilan adalah request HTTP yang independen. SDK mulai polling pada 250 milidetik dan melambat bertahap sampai batas pollingInterval, sehingga solve yang cepat tetap cepat meski beberapa berjalan bersamaan. Kapasitas adalah soal perangkat keras, bukan soal tagihan, dan itulah yang membuat delapan worker menjadi default yang wajar, bukan keputusan yang harus Anda pertanggungjawabkan. Pola scraping yang lebih luas dibahas di halaman web scraping.

Menjalankan CapSkip di server sebagai gantinya

Scraper Botasaurus biasanya berakhir di tempat lain selain laptop: VPS, Docker host, atau mesin terjadwal. Loopback tidak ikut ke sana.

ModeMendengarkan diGunakan saat
Lokal127.0.0.1, hanya perangkat ituScraper dan solver berbagi satu mesin yang sama
ServerJaringan Anda atau IP publikScraper berjalan di VPS, container, atau mesin lain

Hanya constructor yang berubah. SDK tidak membaca CAPSKIP_HOST atau CAPSKIP_PORT dengan sendirinya, jadi constructor di bawah membacanya dari environment, dan scraper yang sudah di-deploy kemudian cukup membutuhkan kedua variabel itu, bukan perubahan kode.

import os
from capskip import CapSkip

# Same client, different address. The task never changes.
solver = CapSkip(
    host=os.getenv("CAPSKIP_HOST", "127.0.0.1"),
    port=int(os.getenv("CAPSKIP_PORT", "8080")),
)

IP publik statis disarankan untuk mesin solver agar alamatnya tidak berubah, dan langkah-langkahnya ada di pengaturan koneksi. Ini tetap perangkat keras Anda sendiri dan tetap tanpa batas (unmetered). Yang berubah hanya di mana proses ini mendengarkan.

Kesalahan umum dan artinya

GejalaPenyebabPerbaiki
AttributeError pada NoneTypePemanggilan select tidak menemukan apa pun dan mengembalikan NoneBerikan argumen wait, lalu periksa None sebelum membaca atribut tersebut
Task langsung selesai dan tidak ada browser yang terbukaCaching menyajikan hasil tersimpan untuk input tersebutBersihkan cache atau lepas opsi ini saat men-debug
NetworkException pada solve pertamaTidak ada yang mendengarkan di host dan port tersebutJalankan CapSkip, atau beralih ke Mode Server jika scraper berjalan dari jarak jauh
ERROR_GOOGLEKEYsitekey milik widget Turnstile, atau terpotongCetak (print) atribut tersebut sebelum melakukan solve; Turnstile punya metodenya sendiri
ERROR_PAGEURLURL hardcoded yang sudah tidak sesuai dengan halamanAmbil alamatnya langsung dari browser
Form terkirim dan server menolak tokenHalaman menggunakan callback, jadi hidden field saja tidak cukupPanggil fungsi data-callback dengan token tersebut
Berfungsi sendiri, gagal di balik proxyBrowser memakai proxy dan solve tidakBerikan endpoint yang sama untuk keduanya

Setiap parameter dan setiap error string tercantum di dokumentasi API.

Pertanyaan yang sering diajukan

Apakah Decorator Request Bisa Dipakai untuk Ini?

Tidak, dan dokumentasi Botasaurus menjelaskan alasannya dengan jelas: decorator request membuat panggilan HTTP mirip browser tapi tidak bisa menjalankan JavaScript, sementara widget challenge adalah JavaScript. Gunakan decorator browser untuk halaman yang membawa widget tersebut. Task request tetap menjadi alat yang tepat untuk halaman-halaman setelahnya, begitu Anda sudah memegang session.

Bagaimana dengan Interstitial Cloudflare, Bukan Widget?

Keduanya adalah dua hal yang berbeda, dan Botasaurus sudah menangani yang pertama. Interstitial satu halaman penuh yang muncul sebelum situs dimuat adalah tujuan argumen bypass_cloudflare pada google_get. Widget Turnstile yang berada di dalam form login adalah challenge biasa di halaman biasa, dan tetap membutuhkan token seperti challenge lainnya, jadi lakukan solve dan tulis jawabannya ke field cf-turnstile-response.

Bisakah Ini Dijalankan Headless di Server Tanpa Display?

Ya. Botasaurus menyediakan opsi headless dan opsi X virtual framebuffer untuk mesin Linux tanpa display, dan keduanya tidak memengaruhi proses solve, yang tetap berupa panggilan HTTP dari proses Python Anda. Arahkan client ke alamat yang bisa dijangkau dengan Mode Server, dan task yang sama akan berjalan tanpa perubahan di VPS.

Haruskah Solve Diletakkan di Task Decorator Terpisah?

Bisa, dan cara ini lebih rapi ketika beberapa scraper berbagi satu routine solve yang sama. Task decorator menjalankan kode Python apa pun yang Anda mau, dengan mekanisme caching dan retry yang sama di baliknya. Tetap letakkan di fungsi browser jika token harus kembali ke halaman asalnya, karena memisahkannya berarti Anda harus mengoper driver ke sana kemari tanpa manfaat nyata.

Versi singkatnya

Baca sitekey dengan select yang menunggu (waited select), lakukan solve dari dalam fungsi yang didekorasi, dan tulis token ke halaman dengan driver.run_js beserta objek args-nya. Lewati ekstensi: memegang token sebagai nilai adalah yang memungkinkan Anda melakukan retry secara sengaja, dan ini menjaga API key tetap di luar browser.

Dua opsi yang perlu diwaspadai adalah caching, yang akan mengembalikan hasil tersimpan dan tidak pernah membuka browser, serta pengaturan proxy, yang mencakup browser tapi bukan solve. Menjalankan solver Anda sendiri adalah yang membuat retry menjadi gratis, dan itulah alasan utama bypass captcha pada delapan worker adalah keputusan kapasitas, bukan keputusan anggaran. Opsi client dibahas di panduan integrasi Python, dan referensi resmi framework tersebut ada di repository Botasaurus.