Botasaurus’ta Uzantı Olmadan CAPTCHA Nasıl Çözülür

botasaurus captcha - How to Solve CAPTCHA in Botasaurus Without an Extension

Bir Botasaurus captchasını ele almanın en kolay yolu, bir tarayıcı uzantısı üzerinden değil, doğrudan görevin kendi içindedir. Framework'ün kendi dokümantasyonu, challenge'ı görünmez şekilde çözen ve her denemede sizi ücretlendiren ücretli bir bulut uzantısına işaret eder. Bir çözücüyü doğrudan decorator'lı fonksiyonunuzdan çağırmak daha az kod gerektirir ve size token'ı loglayabileceğiniz, dallanabileceğiniz ve yeniden deneyebileceğiniz sıradan bir Python değeri olarak verir. Bu rehber; sitekey'i okumayı, çözmeyi, driver.run_js ile yanıtı enjekte etmeyi ve tüm işi sessizce bozan iki decorator seçeneğini kapsar.

Neye ihtiyacınız var

  • Her iki paketin de hedeflediği Python 3.10 veya daha yenisi
  • Kurulu Botasaurus, artı çözücü istemcisi
  • Çalışan ve erişilebilir bir CapSkip. Scraper aynı makinede çalıştığında yerel mod 127.0.0.1 port 8080'i dinler, Server modu ise bir VPS veya container barındırıcının çağırabilmesi için ağınızı ya da genel IP'nizi dinler. Bkz. bağlantı ayarları her ikisi için de geçerlidir.
  • Üzerinde gerçek bir widget olan bir sayfa. Sitekey canlı DOM'dan alınmalıdır, çünkü her sitede farklıdır
# The scraper and the solver client, in one line.
python -m pip install --upgrade botasaurus capskip

Neden uzantı yolu değil

Botasaurus, decorator üzerinden Chrome uzantılarını destekler ve dokümantasyonu, bir API anahtarıyla bağlanmış bir CapSolver uzantısını gösterir. Bu çalışır. Ama aynı zamanda üzerinde durmaya değer üç şeye de sizin adınıza karar verir.

Token'ı hiçbir zaman görmezsiniz. Uzantı, yanıtı kendi zamanlamasına göre sayfaya yazar; bu yüzden kodunuzun inceleyebileceği bir değer yoktur. Bir çözüm başarısız olduğunda, üzerinde hâlâ çözülmemiş bir widget bulunan bir sayfa alırsınız; bu da hatanın olduğu noktada bir exception olarak değil, daha sonra kafa karıştırıcı bir form hatası olarak ortaya çıkar.

Her deneme ücretlendirilir. Çözüm başına ücretlendirilen bir bulut API'si, her yeniden denemeyi ayrı bir kalem hâline getirir. Botasaurus bunu her zamankinden daha keskin hâle getirir, çünkü max_retry tüm decorator'lı fonksiyonu baştan çalıştırır ve parallel seçeneği bunu tarayıcı sayısıyla çarpar. Her biri üç kez yeniden denenen on worker, olası bir öğleden sonrada planlamadığınız bir faturaya dönüşebilir. Çözücüyü kendi donanımınızda çalıştırmak bu hesabı tamamen ortadan kaldırır; bu konu daha ayrıntılı olarak CapSolver alternatifi sayfasında ele alınıyor..

API anahtarınız tarayıcıya gönderilir. Bir uzantı, anahtarıyla birlikte Chrome örneğine yüklenir. Yerel bir çözücü ise Python sürecinizden yalnızca bir istek alır, başka hiçbir şey değil.

Adım 1: sitekey'i görev içinde okuyun

Her şey, zaten bir driver'a sahip olduğunuz decorator'lı fonksiyon içinde gerçekleşir.

# python -m pip install botasaurus
from botasaurus.browser import browser, Driver, Wait

@browser(block_images=True)
def solve_login(driver: Driver, data):
    driver.get("https://example.com/page-with-recaptcha")

    # The widget is injected by script, so wait for it
    # rather than reading the DOM immediately.
    widget = driver.select("[data-sitekey]", wait=Wait.LONG)
    sitekey = widget.get_attribute("data-sitekey")

    return {"sitekey": sitekey}   # written to output/solve_login.json

Burada edinilmesi gereken iki Botasaurus alışkanlığı var. select çağrısı hata fırlatmak yerine elementi ya da None döndürür; bu yüzden kontrol etmezseniz eksik bir widget bir satır sonra NoneType hatası olarak karşınıza çıkar. Ayrıca döndürdüğünüz her şey, fonksiyonun adını taşıyan bir dosya olarak çıktı dizini altında bir JSON dosyasına yazılır; bu da siz henüz geliştirirken yarım kalmış bir görevi incelemeyi kolaylaştırır.

Adım 2: çözün, ardından driver.run_js ile enjekte edin

Botasaurus, tarayıcıyı Selenium üzerinden yönetmez; bu yüzden başka yerlerde bulacağınız execute_script tarifleri burada işe yaramaz. Bunun karşılığı driver.run_js'tir ve ikinci parametre olarak bir arguments nesnesi alır.

# python -m pip install capskip
from capskip import CapSkip

solver = CapSkip(host="127.0.0.1", port=8080)

result = solver.recaptcha(
    sitekey=sitekey,
    url="https://example.com/page-with-recaptcha",
)

# args is how Botasaurus passes Python values into the page.
driver.run_js(
    "document.getElementById('g-recaptcha-response').value = args.token",
    {"token": result["code"]},
)

Aynı çağrı, tüm reCAPTCHA ailesini kapsar. Görünmez bir widget için invisible, Enterprise için enterprise, v3 için ise bir action ile birlikte v3 sürümünü geçirin. Turnstile ve GeeTest, aynı yapıda ayrı metotlardır. v3 için min_score da geçirebilirsiniz: CapSkip, diğer servislerden taşınan kod çalışmaya devam etsin diye onu kabul eder, ancak token'ı değiştirmez, çünkü puanı Google belirler.

Widget div'i bir data-callback özniteliği taşıyorsa, formu göndermek yerine o fonksiyonu token ile çağırın. Bu şekilde kurulmuş sayfalar hiçbir zaman normal bir submit handler bağlamaz; bu yüzden düğmeye tıklamak hiçbir işe yaramaz.

Tam çalışan örnek

# python -m pip install botasaurus capskip
from botasaurus.browser import browser, Driver, Wait
from capskip import CapSkip, NetworkException, TimeoutException

solver = CapSkip(host="127.0.0.1", port=8080)
PAGE = "https://example.com/page-with-recaptcha"

@browser(block_images=True, max_retry=3, retry_wait=10)
def scrape_behind_recaptcha(driver: Driver, data):
    driver.get(PAGE)

    widget = driver.select("[data-sitekey]", wait=Wait.LONG)
    if widget is None:
        return {"error": "no widget on the page"}

    try:
        result = solver.recaptcha(
            sitekey=widget.get_attribute("data-sitekey"),
            url=driver.run_js("return location.href"),
        )
    except (NetworkException, TimeoutException) as exc:
        # Raising here lets max_retry take another run at it.
        raise RuntimeError(f"solve failed: {exc}")

    driver.run_js(
        "document.getElementById('g-recaptcha-response').value = args.token",
        {"token": result["code"]},
    )
    driver.click("button[type='submit']")

    return {"title": driver.run_js("return document.title")}

scrape_behind_recaptcha()

Sayfa URL'sinin sabit değerden değil tarayıcıdan geldiğine dikkat edin. Site girişte bir yönlendirme yaptıysa, çözümün ihtiyaç duyduğu URL, widget'ın render edildiği URL'dir; kendi sabit değerinizi yeniden kullanmak, sunucunun daha sonra reddettiği bir token'ın en yaygın nedenidir.

Çözümü bozan iki decorator seçeneği

İkisi de Botasaurus'un doğru yaptığı şeylerdir; bir CAPTCHA söz konusu olduğunda kafa karıştırıcı olmalarının tam nedeni de budur.

Caching, döndürülen değeri girdiye göre anahtarlayarak saklar. Onu açın, aynı girdiyi ikinci kez çalıştırın; framework bir tarayıcı açmadan saklanan dictionary'yi geri verir, yani hiçbir çözüm gerçekleşmez ve çözücüye hiçbir istek ulaşmaz. Büyük bir scrape'i yeniden çalıştırırken bu bir özelliktir. Tek bir sayfada hata ayıklarken ise bozuk bir entegrasyon gibi görünür; bu yüzden çalışırken cache'i temizleyin veya seçeneği kaldırın.

Decorator üzerindeki proxy seçeneği, tarayıcının proxy'sidir, çözücünün değil. Bunlar ayrı ayarlardır ve birbiriyle uyuşmaları gerekir. Tarayıcı bir residential proxy arkasındayken kendi IP'nizden üretilmiş bir token, sitenin görebileceği bir uyumsuzluktur; tek başına doğrulandığında sorunsuz görünen bir çözümün gerçek akış içinde başarısız olmasının nedeni de budur. Aynı endpoint'i çözüm çağrısına da verin:

PROXY = "user:[email protected]:3128"

@browser(proxy=f"http://{PROXY}")
def scrape(driver: Driver, data):
    result = solver.recaptcha(
        sitekey=sitekey,
        url=PAGE,
        proxy={"type": "HTTPS", "uri": PROXY},
    )

Proxy'ler reCAPTCHA, Turnstile, GeeTest ve CaptchaFox için geçerlidir. Görüntü CAPTCHA'ları proxy almaz, çünkü yönlendirilecek bir üçüncü taraf isteği yoktur.

Aynı anda birçok tarayıcı çalıştırmak

Yerel bir çözücünün asıl değerini gösterdiği yer burasıdır. Decorator üzerinde parallel seçeneğini ayarlamak, o sayıda tarayıcı başlatır; her biri fonksiyonunuzu kendi girdisine karşı çalıştırır ve her biri kendi challenge'ıyla karşılaşır.

@browser(parallel=8, reuse_driver=True, block_images=True)
def scrape_behind_recaptcha(driver: Driver, data):
    ...

scrape_behind_recaptcha([url1, url2, url3])

Tek bir client nesnesini sekizinin tamamı arasında paylaşmak güvenlidir, çünkü her çağrı bağımsız bir HTTP isteğidir. SDK, 250 milisaniyede polling'e başlar ve pollingInterval tavanına kadar yavaşlar; bu yüzden aynı anda birkaçı sürerken bile hızlı bir çözüm hızlı kalır. Kapasite bir faturalandırma sorunu değil, bir donanım sorunudur; bu da sekiz worker'ı, gerekçelendirmeniz gereken bir karar yerine makul bir varsayılan hâline getirir. Daha geniş scraping desenleri web scraping sayfasında ele alınıyor..

CapSkip'i bunun yerine bir sunucuda çalıştırmak

Botasaurus scraper'ları genellikle bir laptop dışında bir yerde çalışır: bir VPS, bir Docker host, zamanlanmış bir makine. Loopback onları oraya kadar takip etmez.

ModDinlediği adresNe zaman kullanılır
Yerel127.0.0.1, yalnızca o cihazScraper ve çözücü aynı makineyi paylaşıyor
SunucuAğınız veya genel IP adresinizScraper bir VPS, bir container veya başka bir makinede çalışıyor

Yalnızca constructor değişir. SDK, CAPSKIP_HOST ve CAPSKIP_PORT değerlerini kendi başına okumaz; bu yüzden aşağıdaki constructor bunları ortamdan okur ve böylece dağıtılmış bir scraper’ın kod değişikliğine değil, bu iki değişkene ihtiyacı olur.

import os
from capskip import CapSkip

# Same client, different address. The task never changes.
solver = CapSkip(
    host=os.getenv("CAPSKIP_HOST", "127.0.0.1"),
    port=int(os.getenv("CAPSKIP_PORT", "8080")),
)

Çözücü kutusu için adresin sabit kalması amacıyla statik bir genel IP önerilir; adımlar için bkz. bağlantı ayarları. Yine de kendi donanımınızdır ve yine sınırsızdır. Değişen tek şey, sürecin nerede dinlediğidir.

Sık görülen hatalar ve anlamları

BelirtiNedenDüzeltme
NoneType üzerinde AttributeErrorselect çağrısı hiçbir şey bulamadı ve None döndürdüBir wait argümanı verin, ardından özniteliği okumadan önce None kontrolü yapın
Görev anında geri dönüyor ve hiçbir tarayıcı açılmıyorCaching, bu girdi için saklanmış bir sonucu döndürdüHata ayıklarken cache'i temizleyin veya seçeneği kaldırın
İlk çözümde NetworkExceptionO host ve portta dinleyen hiçbir şey yokCapSkip'i başlatın veya scraper uzaktaysa Server moduna geçin
ERROR_GOOGLEKEYSitekey bir Turnstile widget'ına ait ya da yarıda kesilmişÇözmeden önce özniteliği yazdırın; Turnstile'ın kendi metodu var
ERROR_PAGEURLArtık sayfayla eşleşmeyen sabit kodlanmış bir URLBunun yerine adresi tarayıcıdan okuyun
Form gönderiliyor ve sunucu token'ı reddediyorSayfa bir callback kullanıyor, bu yüzden gizli alan tek başına yeterli değildata-callback fonksiyonunu token ile çağırın
Tek başına çalışır, proxy arkasında başarısız olurTarayıcı proxy'li, çözüm değilİkisine de aynı endpoint'i verin

Her parametre ve her hata dizesi API dokümantasyonunda listelenir..

Sık sorulan sorular

Bunun yerine request decorator işe yarar mı?

Hayır, ve Botasaurus dokümantasyonu bunun nedenini açıkça belirtiyor: request decorator, tarayıcı benzeri HTTP çağrıları yapar ama JavaScript çalıştıramaz; bir challenge widget'ı ise JavaScript'tir. Widget'ı taşıyan sayfa için browser decorator'ı kullanın. Bir oturumunuz olduktan sonra, arkasındaki sayfalar için request görevi hâlâ doğru araçtır.

Peki ya bir widget yerine Cloudflare ara sayfası?

Bunlar iki farklı şeydir ve Botasaurus zaten ilkini ele alır. Bir site yüklenmeden önce karşınıza çıkan tam sayfa ara ekran, google_get üzerindeki bypass_cloudflare argümanının işlevidir. Bir giriş formunun içindeki Turnstile widget'ı ise normal bir sayfadaki normal bir challenge'dır ve diğerleri gibi bir token'a ihtiyaç duyar; bu yüzden onu çözün ve yanıtı cf-turnstile-response alanına yazın.

Bunu ekransız bir sunucuda headless olarak çalıştırabilir miyim?

Evet. Botasaurus, ekransız Linux makineleri için bir headless seçeneği ve bir X virtual framebuffer seçeneği alır; ikisi de, Python sürecinizden yapılan bir HTTP çağrısı olan çözümü etkilemez. Client'ı Server modu ile erişilebilir bir adrese yönlendirin, aynı görev bir VPS üzerinde değişmeden çalışır.

Çözüm ayrı bir task decorator'ına mı konulmalı?

Konulabilir; birkaç scraper tek bir çözüm rutinini paylaştığında bu düzenli bir yaklaşımdır. task decorator'ı, arkasında aynı caching ve retry mekanizması olan istediğiniz herhangi bir Python kodunu çalıştırır. Token'ın geldiği sayfaya geri dönmesi gerektiğinde onu browser fonksiyonunda tutun, çünkü ayırmak, hiçbir fayda sağlamadan driver'ı ortalıkta dolaştırmak anlamına gelir.

Kısa özet

sitekey'i beklemeli bir select ile okuyun, decorator'lı fonksiyonun içinden çözün ve token'ı driver.run_js ile args nesnesini kullanarak sayfaya yazın. Uzantıyı atlayın: token'ı bir değer olarak elinizde tutmak, bilinçli bir şekilde yeniden deneme yapmanızı sağlar ve API anahtarını tarayıcının dışında tutar.

Dikkat edilmesi gereken iki seçenek vardır: saklanan bir sonucu geri verip asla tarayıcı açmayan caching, ve tarayıcıyı kapsayıp çözümü kapsamayan proxy ayarı. Çözücüyü kendiniz çalıştırmak, bir yeniden denemeyi ücretsiz kılan şeydir ve bunun tek nedeni de şudur: captcha atlatma sekiz worker'da bir bütçe kararı değil bir kapasite kararıdır. Client seçenekleri Python entegrasyon rehberinde ele alınıyor, framework'ün kendi referansı ise Botasaurus reposunda yer alıyor..