Как решить капчу в Botasaurus без расширения

Капчу в Botasaurus проще всего решать прямо внутри задачи, а не через расширение браузера. Документация самого фреймворка указывает на платное облачное расширение, которое решает проверку незаметно и списывает деньги за каждую попытку. Вызов сервиса распознавания напрямую из вашей декорированной функции требует меньше кода и отдаёт вам токен как обычное значение Python, которое можно логировать, использовать в условиях и повторять при неудаче. В этом руководстве рассказано, как прочитать sitekey, решить капчу, вставить ответ через driver.run_js, и о двух опциях декоратора, которые незаметно всё ломают.
Что понадобится
- Python 3.10 или новее, на который рассчитаны оба пакета
- Установленный Botasaurus, плюс клиент сервиса распознавания капчи
- CapSkip запущен и доступен. Локальный режим слушает 127.0.0.1:8080, когда скрапер работает на той же машине, а серверный режим слушает ваш сетевой или публичный IP, чтобы к нему мог обращаться VPS или хост с контейнером. См. настройки подключения для обоих режимов
- Страница с настоящим виджетом на ней. Sitekey нужно брать из живого DOM, потому что для каждого сайта он свой
# The scraper and the solver client, in one line. python -m pip install --upgrade botasaurus capskip
Почему не через расширение
Botasaurus поддерживает расширения Chrome через декоратор, и в документации показано, как подключить расширение CapSolver с API-ключом. Это работает. Но заодно за вас решаются три вещи, о которых стоит знать.
Вы никогда не видите токен. Расширение вставляет ответ в страницу по своему собственному расписанию, поэтому в коде просто нет значения, которое можно было бы проверить. Когда решение не удаётся, вы получаете страницу с всё ещё нерешённым виджетом, и это позже проявляется как непонятная ошибка формы, а не как исключение в момент сбоя.
За каждую попытку выставляется счёт. Облачный API с оплатой за решение превращает повторные попытки в отдельную строку расходов. В Botasaurus это ощущается острее обычного, потому что max_retry перезапускает всю декорированную функцию целиком, а опция parallel умножает это на число браузеров. Десять воркеров с тремя повторами каждый - это вполне реальный сценарий на один вечер и счёт, которого вы не планировали. Если запускать сервис распознавания на своём собственном оборудовании, этот расчёт вообще перестаёт быть нужен, и подробнее этот довод раскрыт на странице об альтернативе CapSolver.
Ваш API-ключ отправляется в браузер. Расширение загружается в экземпляр Chrome целиком, вместе с ключом. Локальный сервис распознавания получает только запрос от вашего процесса Python и ничего больше.
Шаг 1: прочитайте sitekey внутри задачи
Всё происходит внутри декорированной функции, где у вас уже есть driver.
# python -m pip install botasaurus
from botasaurus.browser import browser, Driver, Wait
@browser(block_images=True)
def solve_login(driver: Driver, data):
driver.get("https://example.com/page-with-recaptcha")
# The widget is injected by script, so wait for it
# rather than reading the DOM immediately.
widget = driver.select("[data-sitekey]", wait=Wait.LONG)
sitekey = widget.get_attribute("data-sitekey")
return {"sitekey": sitekey} # written to output/solve_login.jsonЗдесь стоит учесть две особенности Botasaurus. Вызов select возвращает элемент или None, а не выбрасывает исключение, поэтому отсутствующий виджет обернётся ошибкой NoneType строчкой позже, если вы не проверите результат. И всё, что вы возвращаете, записывается в JSON-файл в каталоге output, названный по имени функции, что удобно: недоделанную задачу легко проверить прямо во время разработки.
Шаг 2: решите капчу и вставьте ответ через driver.run_js
Botasaurus не управляет браузером через Selenium, поэтому рецепты с execute_script, которые вы найдёте в других источниках, здесь не подойдут. Аналог - driver.run_js, и вторым параметром он принимает объект аргументов.
# python -m pip install capskip
from capskip import CapSkip
solver = CapSkip(host="127.0.0.1", port=8080)
result = solver.recaptcha(
sitekey=sitekey,
url="https://example.com/page-with-recaptcha",
)
# args is how Botasaurus passes Python values into the page.
driver.run_js(
"document.getElementById('g-recaptcha-response').value = args.token",
{"token": result["code"]},
)Один и тот же вызов покрывает всё семейство reCAPTCHA. Передайте invisible для невидимого виджета, enterprise для Enterprise, и версию v3 с action для v3. Для Turnstile и GeeTest есть отдельные методы с такой же структурой. Для v3 можно также передать min_score: CapSkip принимает его, чтобы код, перенесённый с других сервисов, продолжал работать, но на токен он не влияет, потому что балл определяет Google.
Если div виджета несёт атрибут data-callback, вызовите эту функцию с токеном вместо отправки формы. На страницах, построенных таким образом, обычный обработчик отправки никогда не подключается, поэтому клик по кнопке вообще ничего не делает.
Полный рабочий пример
# python -m pip install botasaurus capskip
from botasaurus.browser import browser, Driver, Wait
from capskip import CapSkip, NetworkException, TimeoutException
solver = CapSkip(host="127.0.0.1", port=8080)
PAGE = "https://example.com/page-with-recaptcha"
@browser(block_images=True, max_retry=3, retry_wait=10)
def scrape_behind_recaptcha(driver: Driver, data):
driver.get(PAGE)
widget = driver.select("[data-sitekey]", wait=Wait.LONG)
if widget is None:
return {"error": "no widget on the page"}
try:
result = solver.recaptcha(
sitekey=widget.get_attribute("data-sitekey"),
url=driver.run_js("return location.href"),
)
except (NetworkException, TimeoutException) as exc:
# Raising here lets max_retry take another run at it.
raise RuntimeError(f"solve failed: {exc}")
driver.run_js(
"document.getElementById('g-recaptcha-response').value = args.token",
{"token": result["code"]},
)
driver.click("button[type='submit']")
return {"title": driver.run_js("return document.title")}
scrape_behind_recaptcha()Обратите внимание: URL страницы берётся из браузера, а не из константы. Если по пути сайт сделал редирект, для решения нужен именно тот URL, на котором был отрисован виджет, а использование собственного захардкоженного значения - самая частая причина, по которой сервер потом отклоняет токен.
Две опции декоратора, которые ломают решение капчи
Обе эти вещи Botasaurus делает правильно, и именно поэтому они сбивают с толку, когда в дело вступает капча.
Кеширование сохраняет возвращённое значение по ключу входных данных. Включите его, запустите те же входные данные во второй раз, и фреймворк вернёт сохранённый словарь, даже не открывая браузер, поэтому решение не запускается и запрос до сервиса распознавания не доходит. Это удобно, когда вы перезапускаете большой парсинг. Но выглядит как сломанная интеграция, когда вы отлаживаете одну страницу, так что во время работы очищайте кеш или отключайте эту опцию.
Опция proxy у декоратора задаёт прокси браузера, а не прокси сервиса распознавания. Это отдельные настройки, и они должны совпадать. Токен, полученный с вашего собственного IP, пока браузер сидит за резидентным прокси, - это несоответствие, которое сайт увидит, и именно поэтому решение, которое прекрасно проходит проверку само по себе, не срабатывает в реальном потоке. Передайте тот же адрес и в вызов решения:
PROXY = "user:[email protected]:3128" @browser(proxy=f"http://{PROXY}") def scrape(driver: Driver, data): result = solver.recaptcha( sitekey=sitekey, url=PAGE, proxy={"type": "HTTPS", "uri": PROXY}, )
Прокси применяются к reCAPTCHA, Turnstile, GeeTest и CaptchaFox. Капчи-картинки прокси не принимают, потому что для них нет запроса к третьей стороне, который нужно было бы маршрутизировать.
Запуск нескольких браузеров одновременно
Вот где локальный сервис распознавания оправдывает себя. Указав опцию parallel в декораторе, вы запускаете столько же браузеров, каждый из которых выполняет вашу функцию со своими входными данными и сталкивается со своей собственной проверкой.
@browser(parallel=8, reuse_driver=True, block_images=True)
def scrape_behind_recaptcha(driver: Driver, data):
...
scrape_behind_recaptcha([url1, url2, url3])Один и тот же объект клиента безопасно делить между всеми восемью, потому что каждый вызов - независимый HTTP-запрос. SDK начинает опрос с интервалом 250 миллисекунд и увеличивает его до потолка pollingInterval, поэтому быстрое решение остаётся быстрым, даже когда в работе сразу несколько запросов. Мощность - вопрос оборудования, а не тарифа, и именно поэтому восемь воркеров - разумное значение по умолчанию, а не решение, которое приходится обосновывать. Более широкие сценарии парсинга описаны на странице о веб-скрейпинге.
Запуск CapSkip на отдельном сервере
Скраперы на Botasaurus обычно оказываются не на ноутбуке, а где-то ещё: на VPS, Docker-хосте, машине по расписанию. Loopback туда за ними не следует.
| Режим | Прослушивает | Когда использовать |
|---|---|---|
| Локально | 127.0.0.1, только это устройство | Скрапер и сервис распознавания работают на одной машине |
| Сервер | Вашу сеть или публичный IP | Скрапер работает на VPS, в контейнере или на другой машине |
Меняется только конструктор. SDK сам не считывает ни CAPSKIP_HOST, ни CAPSKIP_PORT, поэтому конструктор ниже берёт их из окружения, и развёрнутому скраперу после этого нужны две переменные, а не правка кода.
import os
from capskip import CapSkip
# Same client, different address. The task never changes.
solver = CapSkip(
host=os.getenv("CAPSKIP_HOST", "127.0.0.1"),
port=int(os.getenv("CAPSKIP_PORT", "8080")),
)Для машины с сервисом распознавания рекомендуется статический публичный IP, чтобы адрес не менялся. Порядок действий: настройки подключения. Это всё ещё ваше оборудование, и оно всё так же не тарифицируется. Изменилось только то, где слушает процесс.
Частые ошибки и что они означают
| Симптом | Причина | Исправить |
|---|---|---|
| AttributeError на NoneType | Вызов select ничего не нашёл и вернул None | Передайте аргумент wait, затем проверяйте на None перед чтением атрибута |
| Задача завершается мгновенно, и браузер не открывается | Кеширование выдало сохранённый результат для этих входных данных | Очистите кеш или отключите опцию во время отладки |
| NetworkException при первом решении | По этому хосту и порту никто не слушает | Запустите CapSkip или переключитесь на серверный режим, если скрапер работает удалённо |
ERROR_GOOGLEKEY | sitekey принадлежит виджету Turnstile или оказался обрезан | Выведите атрибут перед решением; у Turnstile есть свой собственный метод |
ERROR_PAGEURL | Захардкоженный URL, который больше не соответствует странице | Вместо этого берите адрес из браузера |
| Форма отправляется, а сервер отклоняет токен | Страница использует callback, поэтому одного скрытого поля недостаточно | Вызовите функцию data-callback с токеном |
| Работает само по себе, но не срабатывает за прокси | Браузер работает через прокси, а решение - нет | Укажите один и тот же адрес и там, и там |
Каждый параметр и каждая строка ошибки перечислены в документации по API.
Часто задаваемые вопросы
Может ли вместо этого сработать декоратор request?
Нет, и документация Botasaurus прямо объясняет почему: декоратор request делает HTTP-запросы, похожие на браузерные, но не умеет выполнять JavaScript, а виджет проверки - это JavaScript. Для страницы с виджетом используйте декоратор browser. А вот для страниц за ней, когда сессия уже получена, request остаётся правильным инструментом.
А как насчёт промежуточной страницы Cloudflare, а не виджета?
Это две разные вещи, и первую Botasaurus уже умеет обрабатывать. Полноэкранная промежуточная страница, которая появляется перед загрузкой сайта, - это как раз то, для чего нужен аргумент bypass_cloudflare у google_get. Виджет Turnstile внутри формы входа - это обычная проверка на обычной странице, и ей, как и любой другой, нужен токен, так что решайте её и записывайте ответ в поле cf-turnstile-response.
Можно ли запускать это в headless-режиме на сервере без дисплея?
Да. У Botasaurus есть опция headless и опция виртуального фреймбуфера X для Linux-машин без дисплея, и ни одна из них не влияет на решение капчи - это просто HTTP-запрос из вашего процесса Python. Направьте клиент на доступный адрес через серверный режим, и та же самая задача без изменений выполнится на VPS.
Стоит ли выносить решение капчи в отдельный декоратор task?
Можно, и это удобно, когда несколько скраперов используют одну общую процедуру решения. Декоратор task запускает любой Python-код, какой пожелаете, с тем же механизмом кеширования и повторов под капотом. Оставляйте решение в функции browser, если токен должен вернуться обратно на ту же страницу, откуда он взят, - иначе придётся передавать driver туда-сюда без всякой пользы.
Коротко
Читайте sitekey через select с ожиданием, решайте капчу прямо внутри декорированной функции и записывайте токен на страницу через driver.run_js и его объект args. Обойдитесь без расширения: то, что токен - это обычное значение, позволяет осознанно повторять попытки и не пускает API-ключ в браузер.
Два момента, за которыми стоит следить: кеширование, которое вернёт сохранённый результат и вообще не откроет браузер, и настройка прокси, которая относится к браузеру, а не к решению капчи. Запуск сервиса распознавания на своей стороне делает повтор бесплатным, и именно поэтому обход капчи при восьми воркерах становится вопросом мощности, а не бюджета. Настройки клиента описаны в руководстве по интеграции с Python, а справочник самого фреймворка находится в репозитории Botasaurus.
