Wie Sie Captchas in Botasaurus ohne Erweiterung lösen

botasaurus captcha - How to Solve CAPTCHA in Botasaurus Without an Extension

Ein Captcha in Botasaurus lässt sich am einfachsten direkt in der Task selbst lösen, nicht über eine Browser-Erweiterung. Die Dokumentation des Frameworks verweist auf eine kostenpflichtige Cloud-Erweiterung, die die Challenge unsichtbar löst und jeden Versuch abrechnet. Einen Solver direkt aus Ihrer dekorierten Funktion aufzurufen bedeutet weniger Code, und Sie erhalten den Token als gewöhnlichen Python-Wert, den Sie loggen, verzweigen und erneut versuchen können. Diese Anleitung zeigt, wie Sie den sitekey auslesen, lösen, die Antwort mit driver.run_js einfügen, und welche zwei Decorator-Optionen das Ganze im Stillen zerstören.

Was Sie brauchen

  • Python 3.10 oder neuer, worauf beide Pakete ausgelegt sind
  • Botasaurus installiert, plus der Solver-Client
  • CapSkip läuft und ist erreichbar. Der lokale Modus lauscht auf 127.0.0.1 Port 8080, wenn der Scraper auf derselben Maschine läuft, und der Server-Modus lauscht auf Ihrem Netzwerk oder Ihrer öffentlichen IP, sodass ein VPS oder ein Container-Host ihn erreichen kann. Siehe die Verbindungseinstellungen für beide
  • Eine Seite mit einem echten Widget darauf. Der sitekey muss aus dem Live-DOM ausgelesen werden, denn er ist pro Website unterschiedlich
# The scraper and the solver client, in one line.
python -m pip install --upgrade botasaurus capskip

Warum nicht die Erweiterung nutzen

Botasaurus unterstützt Chrome-Erweiterungen über den Decorator, und die Dokumentation zeigt eine CapSolver-Erweiterung, die mit einem API-Key eingebunden ist. Das funktioniert. Dabei werden aber auch drei Dinge für Sie festgelegt, die einen genaueren Blick wert sind.

Sie sehen den Token nie. Die Erweiterung schreibt die Antwort nach ihrem eigenen Zeitplan in die Seite, sodass Ihr Code keinen Wert zum Prüfen hat. Schlägt eine Lösung fehl, erhalten Sie eine Seite, auf der das Widget weiterhin ungelöst ist, was sich später als verwirrender Formularfehler zeigt statt als Exception genau an der Stelle des Fehlschlags.

Jeder Versuch wird abgerechnet. Eine Cloud-API mit Abrechnung pro Lösung macht aus jedem Retry einen Posten auf der Rechnung. Bei Botasaurus fällt das stärker ins Gewicht als sonst, weil max_retry die gesamte dekorierte Funktion erneut ausführt und die parallel-Option das mit der Anzahl der Browser multipliziert. Zehn Worker mit je drei Retries sind ein plausibler Nachmittag und eine Rechnung, die Sie nicht eingeplant hatten. Wenn Sie den Solver auf eigener Hardware betreiben, entfällt diese Rechnung komplett, und dieses Argument wird ausführlicher erläutert auf der CapSolver-Alternative-Seite.

Ihr API-Key wandert in den Browser. Eine Erweiterung wird in die Chrome-Instanz geladen, mitsamt Key. Ein lokaler Solver nimmt einen Request aus Ihrem Python-Prozess entgegen, und sonst nichts.

Schritt 1: Den sitekey innerhalb der Task auslesen

Alles geschieht innerhalb der dekorierten Funktion, wo Sie bereits über einen driver verfügen.

# python -m pip install botasaurus
from botasaurus.browser import browser, Driver, Wait

@browser(block_images=True)
def solve_login(driver: Driver, data):
    driver.get("https://example.com/page-with-recaptcha")

    # The widget is injected by script, so wait for it
    # rather than reading the DOM immediately.
    widget = driver.select("[data-sitekey]", wait=Wait.LONG)
    sitekey = widget.get_attribute("data-sitekey")

    return {"sitekey": sitekey}   # written to output/solve_login.json

Zwei Botasaurus-Eigenheiten sind hier zu beachten. Der select-Aufruf gibt das Element oder None zurück, statt eine Exception auszulösen, sodass ein fehlendes Widget eine Zeile später als NoneType-Fehler auftaucht, wenn Sie nicht darauf prüfen. Und was auch immer Sie zurückgeben, wird in eine JSON-Datei im output-Verzeichnis geschrieben, benannt nach der Funktion, wodurch sich eine halbfertige Task leicht überprüfen lässt, während Sie noch daran bauen.

Schritt 2: lösen, dann mit driver.run_js einfügen

Botasaurus steuert den Browser nicht über Selenium, daher greifen die execute_script-Rezepte, die Sie anderswo finden, hier nicht. Das Äquivalent ist driver.run_js, das als zweiten Parameter ein arguments-Objekt entgegennimmt.

# python -m pip install capskip
from capskip import CapSkip

solver = CapSkip(host="127.0.0.1", port=8080)

result = solver.recaptcha(
    sitekey=sitekey,
    url="https://example.com/page-with-recaptcha",
)

# args is how Botasaurus passes Python values into the page.
driver.run_js(
    "document.getElementById('g-recaptcha-response').value = args.token",
    {"token": result["code"]},
)

Derselbe Aufruf deckt die gesamte reCAPTCHA-Familie ab. Übergeben Sie invisible für ein unsichtbares Widget, enterprise für Enterprise und eine v3-Version mit einer action für v3. Turnstile und GeeTest sind eigene Methoden mit demselben Aufbau. Für v3 können Sie außerdem min_score übergeben: CapSkip akzeptiert die Option, damit von anderen Diensten portierter Code weiter funktioniert, aber sie ändert nichts am Token, denn den Score legt Google fest.

Trägt das Widget-div ein data-callback-Attribut, rufen Sie diese Funktion mit dem Token auf, statt das Formular abzusenden. Seiten, die so gebaut sind, richten nie einen normalen Submit-Handler ein, ein Klick auf den Button bewirkt also gar nichts.

Das vollständige, funktionierende Beispiel

# python -m pip install botasaurus capskip
from botasaurus.browser import browser, Driver, Wait
from capskip import CapSkip, NetworkException, TimeoutException

solver = CapSkip(host="127.0.0.1", port=8080)
PAGE = "https://example.com/page-with-recaptcha"

@browser(block_images=True, max_retry=3, retry_wait=10)
def scrape_behind_recaptcha(driver: Driver, data):
    driver.get(PAGE)

    widget = driver.select("[data-sitekey]", wait=Wait.LONG)
    if widget is None:
        return {"error": "no widget on the page"}

    try:
        result = solver.recaptcha(
            sitekey=widget.get_attribute("data-sitekey"),
            url=driver.run_js("return location.href"),
        )
    except (NetworkException, TimeoutException) as exc:
        # Raising here lets max_retry take another run at it.
        raise RuntimeError(f"solve failed: {exc}")

    driver.run_js(
        "document.getElementById('g-recaptcha-response').value = args.token",
        {"token": result["code"]},
    )
    driver.click("button[type='submit']")

    return {"title": driver.run_js("return document.title")}

scrape_behind_recaptcha()

Beachten Sie, dass die Seiten-URL aus dem Browser stammt und nicht aus der Konstante. Hat die Website beim Aufruf umgeleitet, braucht die Lösung genau die URL, gegen die das Widget gerendert wurde, und die eigene fest codierte URL wiederzuverwenden ist die häufigste Ursache für einen Token, den der Server anschließend ablehnt.

Zwei Decorator-Optionen, die die Lösung zerstören

Beide sind Dinge, die Botasaurus richtig macht, und genau deshalb sind sie verwirrend, sobald ein Captcha im Spiel ist.

Caching speichert den Rückgabewert, indiziert nach der Eingabe. Schalten Sie es ein, führen Sie dieselbe Eingabe ein zweites Mal aus, und das Framework gibt das gespeicherte Dictionary zurück, ohne einen Browser zu öffnen, es findet also keine Lösung statt und keine Anfrage erreicht den Solver. Das ist ein Feature, wenn Sie einen großen Scrape erneut laufen lassen. Es wirkt wie eine kaputte Integration, wenn Sie eine einzelne Seite debuggen, also leeren Sie den Cache oder lassen Sie die Option während der Arbeit weg.

Die proxy-Option des Decorators ist der Proxy des Browsers, nicht der des Solvers. Es sind getrennte Einstellungen, und sie müssen übereinstimmen. Ein Token, der von Ihrer eigenen IP ausgestellt wird, während der Browser hinter einem Residential-Proxy sitzt, ist eine Diskrepanz, die die Website erkennen kann, und deshalb schlägt eine Lösung, die isoliert einwandfrei verifiziert wurde, im echten Ablauf fehl. Übergeben Sie denselben Endpoint an den Solve-Aufruf:

PROXY = "user:[email protected]:3128"

@browser(proxy=f"http://{PROXY}")
def scrape(driver: Driver, data):
    result = solver.recaptcha(
        sitekey=sitekey,
        url=PAGE,
        proxy={"type": "HTTPS", "uri": PROXY},
    )

Proxys gelten für reCAPTCHA, Turnstile, GeeTest und CaptchaFox. Bild-Captchas benötigen keinen, da es keine Anfrage an einen Dritten gibt, die geroutet werden müsste.

Viele Browser gleichzeitig ausführen

Hier zeigt ein lokaler Solver seinen Wert. Das Setzen der parallel-Option am Decorator startet entsprechend viele Browser, von denen jeder Ihre Funktion mit seiner eigenen Eingabe ausführt und jeweils auf eine eigene Challenge trifft.

@browser(parallel=8, reuse_driver=True, block_images=True)
def scrape_behind_recaptcha(driver: Driver, data):
    ...

scrape_behind_recaptcha([url1, url2, url3])

Ein einzelnes Client-Objekt lässt sich gefahrlos unter allen acht teilen, denn jeder Aufruf ist ein eigenständiger HTTP-Request. Das SDK beginnt das Polling bei 250 Millisekunden und drosselt bis zur pollingInterval-Obergrenze, sodass eine schnelle Lösung schnell bleibt, auch wenn mehrere gleichzeitig laufen. Kapazität ist eine Frage der Hardware und keine der Abrechnung, weshalb acht Worker ein vernünftiger Standard sind und keine Entscheidung, die Sie rechtfertigen müssen. Umfassendere Scraping-Muster werden behandelt auf der Web-Scraping-Seite.

CapSkip stattdessen auf einem Server betreiben

Botasaurus-Scraper landen meist woanders als auf einem Laptop: auf einem VPS, einem Docker-Host, einer geplanten Maschine. Loopback folgt ihnen dorthin nicht.

ModusLauscht aufSinnvoll, wenn
Lokal127.0.0.1, nur dieses GerätScraper und Solver teilen sich eine Maschine
ServerIhr Netzwerk oder Ihre öffentliche IPDer Scraper läuft auf einem VPS, in einem Container oder auf einer anderen Maschine

Nur der Constructor ändert sich. Das SDK liest weder CAPSKIP_HOST noch CAPSKIP_PORT von sich aus, deshalb liest der Constructor unten die beiden Werte aus der Umgebung, und ein deployter Scraper braucht dann diese zwei Variablen statt einer Codeänderung.

import os
from capskip import CapSkip

# Same client, different address. The task never changes.
solver = CapSkip(
    host=os.getenv("CAPSKIP_HOST", "127.0.0.1"),
    port=int(os.getenv("CAPSKIP_PORT", "8080")),
)

Für die Solver-Maschine wird eine statische öffentliche IP empfohlen, damit die Adresse konstant bleibt, und die Schritte dazu finden Sie über die Verbindungseinstellungen. Es ist weiterhin Ihre Hardware und weiterhin unbegrenzt. Das Einzige, was sich ändert, ist, wo der Prozess lauscht.

Häufige Fehler und was sie bedeuten

SymptomUrsacheBeheben
AttributeError bei NoneTypeDer select-Aufruf hat nichts gefunden und None zurückgegebenÜbergeben Sie ein wait-Argument, und prüfen Sie dann auf None, bevor Sie das Attribut auslesen
Die Task kehrt sofort zurück, und es öffnet sich kein BrowserCaching hat für diese Eingabe ein gespeichertes Ergebnis geliefertLeeren Sie den Cache oder lassen Sie die Option beim Debuggen weg
NetworkException bei der ersten LösungAn diesem Host und Port lauscht nichtsStarten Sie CapSkip, oder wechseln Sie in den Server-Modus, wenn der Scraper remote läuft
ERROR_GOOGLEKEYDer Sitekey gehört zu einem Turnstile-Widget, oder er wurde abgeschnittenGeben Sie das Attribut vor dem Lösen aus; Turnstile hat eine eigene Methode
ERROR_PAGEURLEine fest codierte URL, die nicht mehr zur Seite passtLesen Sie die Adresse stattdessen aus dem Browser aus
Das Formular wird abgesendet, und der Server lehnt den Token abDie Seite verwendet einen Callback, das versteckte Feld allein reicht also nichtRufen Sie die data-callback-Funktion mit dem Token auf
Funktioniert allein, schlägt hinter einem Proxy fehlDer Browser läuft über einen Proxy, die Lösung nichtGeben Sie beiden denselben Endpoint

Jeder Parameter und jeder Error-String ist aufgeführt in der API-Dokumentation.

Häufig gestellte Fragen

Funktioniert stattdessen der request-Decorator dafür?

Nein, und die Botasaurus-Dokumentation erklärt genau, warum: Der request-Decorator macht browserähnliche HTTP-Aufrufe, kann aber kein JavaScript ausführen, und ein Challenge-Widget ist JavaScript. Verwenden Sie den browser-Decorator für die Seite, die das Widget trägt. Für die Seiten dahinter ist eine request-Task weiterhin das richtige Werkzeug, sobald Sie eine Session halten.

Was ist mit dem Cloudflare-Interstitial statt eines Widgets?

Das sind zwei verschiedene Dinge, und Botasaurus kümmert sich bereits um das erste. Für das ganzseitige Interstitial, das Sie sehen, bevor eine Website lädt, ist das bypass_cloudflare-Argument von google_get da. Ein Turnstile-Widget innerhalb eines Login-Formulars ist eine normale Challenge auf einer normalen Seite und braucht wie jede andere einen Token, also lösen Sie es und schreiben Sie die Antwort in das cf-turnstile-response-Feld.

Kann ich das headless auf einem Server ohne Display ausführen?

Ja. Botasaurus bietet eine headless-Option und eine X-Virtual-Framebuffer-Option für Linux-Maschinen ohne Display, und keine der beiden berührt die Lösung, die ohnehin nur ein HTTP-Aufruf aus Ihrem Python-Prozess ist. Richten Sie den Client mit dem Server-Modus auf eine erreichbare Adresse aus, und dieselbe Task läuft unverändert auf einem VPS.

Sollte die Lösung in einen eigenen task-Decorator ausgelagert werden?

Das ist möglich und sorgt für Ordnung, wenn mehrere Scraper sich eine Löseroutine teilen. Der task-Decorator führt beliebigen Python-Code aus, mit derselben Caching- und Retry-Mechanik dahinter. Behalten Sie sie in der browser-Funktion, wenn der Token zurück in die Seite muss, aus der er stammt, denn eine Aufteilung bedeutet nur, den driver ohne Nutzen herumzureichen.

Die Kurzfassung

Lesen Sie den sitekey mit einem gewarteten select, lösen Sie innerhalb der dekorierten Funktion, und schreiben Sie den Token mit driver.run_js und dessen args-Objekt in die Seite. Verzichten Sie auf die Erweiterung: Den Token als Wert zu halten ist es, was gezieltes Wiederholen ermöglicht, und es hält den API-Key aus dem Browser heraus.

Die beiden Optionen, auf die Sie achten sollten, sind Caching, das ein gespeichertes Ergebnis zurückgibt und nie einen Browser öffnet, und die Proxy-Einstellung, die den Browser abdeckt und nicht die Lösung. Den Solver selbst zu betreiben ist es, was einen Retry kostenlos macht, und das ist der ganze Grund, warum Captcha-Umgehung bei acht Workern eine Kapazitätsentscheidung ist und keine Budgetfrage. Client-Optionen werden behandelt in dem Python-Integrationsleitfaden, und die eigene Referenz des Frameworks findet sich in dem Botasaurus-Repository.