Как решить капчу в Botasaurus без расширения

botasaurus captcha - How to Solve CAPTCHA in Botasaurus Without an Extension

Капчу в Botasaurus проще всего решать прямо внутри задачи, а не через расширение браузера. Документация самого фреймворка указывает на платное облачное расширение, которое решает проверку незаметно и списывает деньги за каждую попытку. Вызов сервиса распознавания напрямую из вашей декорированной функции требует меньше кода и отдаёт вам токен как обычное значение Python, которое можно логировать, использовать в условиях и повторять при неудаче. В этом руководстве рассказано, как прочитать sitekey, решить капчу, вставить ответ через driver.run_js, и о двух опциях декоратора, которые незаметно всё ломают.

Что понадобится

  • Python 3.10 или новее, на который рассчитаны оба пакета
  • Установленный Botasaurus, плюс клиент сервиса распознавания капчи
  • CapSkip запущен и доступен. Локальный режим слушает 127.0.0.1:8080, когда скрапер работает на той же машине, а серверный режим слушает ваш сетевой или публичный IP, чтобы к нему мог обращаться VPS или хост с контейнером. См. настройки подключения для обоих режимов
  • Страница с настоящим виджетом на ней. Sitekey нужно брать из живого DOM, потому что для каждого сайта он свой
# The scraper and the solver client, in one line.
python -m pip install --upgrade botasaurus capskip

Почему не через расширение

Botasaurus поддерживает расширения Chrome через декоратор, и в документации показано, как подключить расширение CapSolver с API-ключом. Это работает. Но заодно за вас решаются три вещи, о которых стоит знать.

Вы никогда не видите токен. Расширение вставляет ответ в страницу по своему собственному расписанию, поэтому в коде просто нет значения, которое можно было бы проверить. Когда решение не удаётся, вы получаете страницу с всё ещё нерешённым виджетом, и это позже проявляется как непонятная ошибка формы, а не как исключение в момент сбоя.

За каждую попытку выставляется счёт. Облачный API с оплатой за решение превращает повторные попытки в отдельную строку расходов. В Botasaurus это ощущается острее обычного, потому что max_retry перезапускает всю декорированную функцию целиком, а опция parallel умножает это на число браузеров. Десять воркеров с тремя повторами каждый - это вполне реальный сценарий на один вечер и счёт, которого вы не планировали. Если запускать сервис распознавания на своём собственном оборудовании, этот расчёт вообще перестаёт быть нужен, и подробнее этот довод раскрыт на странице об альтернативе CapSolver.

Ваш API-ключ отправляется в браузер. Расширение загружается в экземпляр Chrome целиком, вместе с ключом. Локальный сервис распознавания получает только запрос от вашего процесса Python и ничего больше.

Шаг 1: прочитайте sitekey внутри задачи

Всё происходит внутри декорированной функции, где у вас уже есть driver.

# python -m pip install botasaurus
from botasaurus.browser import browser, Driver, Wait

@browser(block_images=True)
def solve_login(driver: Driver, data):
    driver.get("https://example.com/page-with-recaptcha")

    # The widget is injected by script, so wait for it
    # rather than reading the DOM immediately.
    widget = driver.select("[data-sitekey]", wait=Wait.LONG)
    sitekey = widget.get_attribute("data-sitekey")

    return {"sitekey": sitekey}   # written to output/solve_login.json

Здесь стоит учесть две особенности Botasaurus. Вызов select возвращает элемент или None, а не выбрасывает исключение, поэтому отсутствующий виджет обернётся ошибкой NoneType строчкой позже, если вы не проверите результат. И всё, что вы возвращаете, записывается в JSON-файл в каталоге output, названный по имени функции, что удобно: недоделанную задачу легко проверить прямо во время разработки.

Шаг 2: решите капчу и вставьте ответ через driver.run_js

Botasaurus не управляет браузером через Selenium, поэтому рецепты с execute_script, которые вы найдёте в других источниках, здесь не подойдут. Аналог - driver.run_js, и вторым параметром он принимает объект аргументов.

# python -m pip install capskip
from capskip import CapSkip

solver = CapSkip(host="127.0.0.1", port=8080)

result = solver.recaptcha(
    sitekey=sitekey,
    url="https://example.com/page-with-recaptcha",
)

# args is how Botasaurus passes Python values into the page.
driver.run_js(
    "document.getElementById('g-recaptcha-response').value = args.token",
    {"token": result["code"]},
)

Один и тот же вызов покрывает всё семейство reCAPTCHA. Передайте invisible для невидимого виджета, enterprise для Enterprise, и версию v3 с action для v3. Для Turnstile и GeeTest есть отдельные методы с такой же структурой. Для v3 можно также передать min_score: CapSkip принимает его, чтобы код, перенесённый с других сервисов, продолжал работать, но на токен он не влияет, потому что балл определяет Google.

Если div виджета несёт атрибут data-callback, вызовите эту функцию с токеном вместо отправки формы. На страницах, построенных таким образом, обычный обработчик отправки никогда не подключается, поэтому клик по кнопке вообще ничего не делает.

Полный рабочий пример

# python -m pip install botasaurus capskip
from botasaurus.browser import browser, Driver, Wait
from capskip import CapSkip, NetworkException, TimeoutException

solver = CapSkip(host="127.0.0.1", port=8080)
PAGE = "https://example.com/page-with-recaptcha"

@browser(block_images=True, max_retry=3, retry_wait=10)
def scrape_behind_recaptcha(driver: Driver, data):
    driver.get(PAGE)

    widget = driver.select("[data-sitekey]", wait=Wait.LONG)
    if widget is None:
        return {"error": "no widget on the page"}

    try:
        result = solver.recaptcha(
            sitekey=widget.get_attribute("data-sitekey"),
            url=driver.run_js("return location.href"),
        )
    except (NetworkException, TimeoutException) as exc:
        # Raising here lets max_retry take another run at it.
        raise RuntimeError(f"solve failed: {exc}")

    driver.run_js(
        "document.getElementById('g-recaptcha-response').value = args.token",
        {"token": result["code"]},
    )
    driver.click("button[type='submit']")

    return {"title": driver.run_js("return document.title")}

scrape_behind_recaptcha()

Обратите внимание: URL страницы берётся из браузера, а не из константы. Если по пути сайт сделал редирект, для решения нужен именно тот URL, на котором был отрисован виджет, а использование собственного захардкоженного значения - самая частая причина, по которой сервер потом отклоняет токен.

Две опции декоратора, которые ломают решение капчи

Обе эти вещи Botasaurus делает правильно, и именно поэтому они сбивают с толку, когда в дело вступает капча.

Кеширование сохраняет возвращённое значение по ключу входных данных. Включите его, запустите те же входные данные во второй раз, и фреймворк вернёт сохранённый словарь, даже не открывая браузер, поэтому решение не запускается и запрос до сервиса распознавания не доходит. Это удобно, когда вы перезапускаете большой парсинг. Но выглядит как сломанная интеграция, когда вы отлаживаете одну страницу, так что во время работы очищайте кеш или отключайте эту опцию.

Опция proxy у декоратора задаёт прокси браузера, а не прокси сервиса распознавания. Это отдельные настройки, и они должны совпадать. Токен, полученный с вашего собственного IP, пока браузер сидит за резидентным прокси, - это несоответствие, которое сайт увидит, и именно поэтому решение, которое прекрасно проходит проверку само по себе, не срабатывает в реальном потоке. Передайте тот же адрес и в вызов решения:

PROXY = "user:[email protected]:3128"

@browser(proxy=f"http://{PROXY}")
def scrape(driver: Driver, data):
    result = solver.recaptcha(
        sitekey=sitekey,
        url=PAGE,
        proxy={"type": "HTTPS", "uri": PROXY},
    )

Прокси применяются к reCAPTCHA, Turnstile, GeeTest и CaptchaFox. Капчи-картинки прокси не принимают, потому что для них нет запроса к третьей стороне, который нужно было бы маршрутизировать.

Запуск нескольких браузеров одновременно

Вот где локальный сервис распознавания оправдывает себя. Указав опцию parallel в декораторе, вы запускаете столько же браузеров, каждый из которых выполняет вашу функцию со своими входными данными и сталкивается со своей собственной проверкой.

@browser(parallel=8, reuse_driver=True, block_images=True)
def scrape_behind_recaptcha(driver: Driver, data):
    ...

scrape_behind_recaptcha([url1, url2, url3])

Один и тот же объект клиента безопасно делить между всеми восемью, потому что каждый вызов - независимый HTTP-запрос. SDK начинает опрос с интервалом 250 миллисекунд и увеличивает его до потолка pollingInterval, поэтому быстрое решение остаётся быстрым, даже когда в работе сразу несколько запросов. Мощность - вопрос оборудования, а не тарифа, и именно поэтому восемь воркеров - разумное значение по умолчанию, а не решение, которое приходится обосновывать. Более широкие сценарии парсинга описаны на странице о веб-скрейпинге.

Запуск CapSkip на отдельном сервере

Скраперы на Botasaurus обычно оказываются не на ноутбуке, а где-то ещё: на VPS, Docker-хосте, машине по расписанию. Loopback туда за ними не следует.

РежимПрослушиваетКогда использовать
Локально127.0.0.1, только это устройствоСкрапер и сервис распознавания работают на одной машине
СерверВашу сеть или публичный IPСкрапер работает на VPS, в контейнере или на другой машине

Меняется только конструктор. SDK сам не считывает ни CAPSKIP_HOST, ни CAPSKIP_PORT, поэтому конструктор ниже берёт их из окружения, и развёрнутому скраперу после этого нужны две переменные, а не правка кода.

import os
from capskip import CapSkip

# Same client, different address. The task never changes.
solver = CapSkip(
    host=os.getenv("CAPSKIP_HOST", "127.0.0.1"),
    port=int(os.getenv("CAPSKIP_PORT", "8080")),
)

Для машины с сервисом распознавания рекомендуется статический публичный IP, чтобы адрес не менялся. Порядок действий: настройки подключения. Это всё ещё ваше оборудование, и оно всё так же не тарифицируется. Изменилось только то, где слушает процесс.

Частые ошибки и что они означают

СимптомПричинаИсправить
AttributeError на NoneTypeВызов select ничего не нашёл и вернул NoneПередайте аргумент wait, затем проверяйте на None перед чтением атрибута
Задача завершается мгновенно, и браузер не открываетсяКеширование выдало сохранённый результат для этих входных данныхОчистите кеш или отключите опцию во время отладки
NetworkException при первом решенииПо этому хосту и порту никто не слушаетЗапустите CapSkip или переключитесь на серверный режим, если скрапер работает удалённо
ERROR_GOOGLEKEYsitekey принадлежит виджету Turnstile или оказался обрезанВыведите атрибут перед решением; у Turnstile есть свой собственный метод
ERROR_PAGEURLЗахардкоженный URL, который больше не соответствует страницеВместо этого берите адрес из браузера
Форма отправляется, а сервер отклоняет токенСтраница использует callback, поэтому одного скрытого поля недостаточноВызовите функцию data-callback с токеном
Работает само по себе, но не срабатывает за проксиБраузер работает через прокси, а решение - нетУкажите один и тот же адрес и там, и там

Каждый параметр и каждая строка ошибки перечислены в документации по API.

Часто задаваемые вопросы

Может ли вместо этого сработать декоратор request?

Нет, и документация Botasaurus прямо объясняет почему: декоратор request делает HTTP-запросы, похожие на браузерные, но не умеет выполнять JavaScript, а виджет проверки - это JavaScript. Для страницы с виджетом используйте декоратор browser. А вот для страниц за ней, когда сессия уже получена, request остаётся правильным инструментом.

А как насчёт промежуточной страницы Cloudflare, а не виджета?

Это две разные вещи, и первую Botasaurus уже умеет обрабатывать. Полноэкранная промежуточная страница, которая появляется перед загрузкой сайта, - это как раз то, для чего нужен аргумент bypass_cloudflare у google_get. Виджет Turnstile внутри формы входа - это обычная проверка на обычной странице, и ей, как и любой другой, нужен токен, так что решайте её и записывайте ответ в поле cf-turnstile-response.

Можно ли запускать это в headless-режиме на сервере без дисплея?

Да. У Botasaurus есть опция headless и опция виртуального фреймбуфера X для Linux-машин без дисплея, и ни одна из них не влияет на решение капчи - это просто HTTP-запрос из вашего процесса Python. Направьте клиент на доступный адрес через серверный режим, и та же самая задача без изменений выполнится на VPS.

Стоит ли выносить решение капчи в отдельный декоратор task?

Можно, и это удобно, когда несколько скраперов используют одну общую процедуру решения. Декоратор task запускает любой Python-код, какой пожелаете, с тем же механизмом кеширования и повторов под капотом. Оставляйте решение в функции browser, если токен должен вернуться обратно на ту же страницу, откуда он взят, - иначе придётся передавать driver туда-сюда без всякой пользы.

Коротко

Читайте sitekey через select с ожиданием, решайте капчу прямо внутри декорированной функции и записывайте токен на страницу через driver.run_js и его объект args. Обойдитесь без расширения: то, что токен - это обычное значение, позволяет осознанно повторять попытки и не пускает API-ключ в браузер.

Два момента, за которыми стоит следить: кеширование, которое вернёт сохранённый результат и вообще не откроет браузер, и настройка прокси, которая относится к браузеру, а не к решению капчи. Запуск сервиса распознавания на своей стороне делает повтор бесплатным, и именно поэтому обход капчи при восьми воркерах становится вопросом мощности, а не бюджета. Настройки клиента описаны в руководстве по интеграции с Python, а справочник самого фреймворка находится в репозитории Botasaurus.