Типы CAPTCHA по полю или cookie, которое задаёт каждый

types of captcha - Types of CAPTCHA by the Field or Cookie Each One Sets

Что бы ни показывала CAPTCHA посетителю, заканчивается всё одинаково: токеном, который попадает в поле формы, или cookie, который хранит браузер. Если вы управляете сайтом из своего кода, это поле или cookie нужно вернуть на место. В этом руководстве перечислены типы CAPTCHA, с которыми вы столкнётесь, точное поле или cookie для каждого из них и вызов CapSkip с параметрами, которые его создают. Что такое CAPTCHA и как она принимает решение, сначала прочтите в материале о том, что такое CAPTCHA и возвращайтесь сюда за полями.

Типы CAPTCHA и что нужно вернуть

В третьем столбце указан вызов Python SDK, а в скобках значение метода HTTP, которое SDK 1.7.0 отправляет в CapSkip. Слова в кавычках в последнем столбце: имена параметров. SDK для Node.js, PHP и .NET называют те же вызовы в своём регистре, они перечислены на странице SDK для распознавания капчи (полный список).

ТипЧто нужно вернутьВызов Python SDK (метод)Что требуется
Графическая капчаВведённый текст в собственном поле сайтаnormal (base64)Файл изображения, URL или строка base64
MTCaptchamtcaptcha-verifiedtokenmtcaptcha (mt_captcha)Sitekey и URL страницы
reCAPTCHA v2g-recaptcha-responserecaptcha (userrecaptcha)Sitekey и URL страницы
hCaptchah-captcha-responsehcaptcha (hcaptcha)Sitekey и URL страницы
reCAPTCHA v3Токен, который получает скрипт страницы и отправляетrecaptcha (userrecaptcha)Sitekey, URL страницы, "version" v3 и "action"
Виджет Turnstilecf-turnstile-responseturnstile (turnstile)Sitekey и URL страницы
GeeTest v3geetest_challenge, geetest_validate, geetest_seccodegeetest (geetest)gt, свежий challenge и URL страницы
Capy Puzzlecapy_captchakey, capy_challengekey, capy_answercapy (capy)Ключ PUZZLE_ и URL страницы
CaptchaFoxcf-captcha-responsecaptchafox (captchafox)Sitekey и URL страницы
ALTCHAСкрытое поле с именем altcha, если сайт его не переименовалaltcha (altcha)URL страницы и challenge_url либо challenge_json
Friendly Captchafrc-captcha-response в v2, frc-captcha-solution в v1friendly_captcha (friendly_captcha)Sitekey, URL страницы и "version" v2 (по умолчанию v1)
Полностраничная проверка CloudflareТокен Turnstile, который принимает страница и отвечает cookie cf_clearanceturnstile (turnstile), только токенSitekey, URL страницы, "action", "data" и "pagedata"
DataDomeCookie datadomedatadome (datadome)captcha_url и URL страницы
AWS WAFCookie aws-waf-tokenamazon_waf (amazon_waf)Sitekey и URL страницы; iv и context вместе или не использовать вовсе

Как читать таблицу

Строка reCAPTCHA v2 охватывает флажок, сетку с картинками и невидимую форму. Для невидимой формы передайте invisible=1, и токен получит callback вашей страницы, а не видимое поле. Enterprise использует тот же вызов с enterprise=1 и описан отдельно: распознавание reCAPTCHA Enterprise (для hCaptcha в справочнике CapSkip сказано заполнять и g-recaptcha-response, если в форме есть такое поле).

Три строки возвращают больше одного значения. GeeTest описывает все три своих поля в справочнике Web API, где привязка формы добавляет их как скрытые поля ввода. Названия полей Capy взяты только из документации API CapSkip, поэтому сверяйте их со страницей, с которой работаете. Для AWS WAF CapSkip возвращает voucher и существующий токен, и эту пару нужно обменять на сайте на значение cookie, как описано в справочнике API.

Две строки требуют внимания. Полноэкранная проверка Cloudflare решается вызовом Turnstile, который возвращает токен и User-Agent, и токен нужно отправлять с этим же User-Agent. Cookie cf_clearance сайт выставляет в ответ. CapSkip умеет вернуть и сам cookie, но только через JSON API при включённой настройке, а в SDK для этого вызова нет, поэтому начинать стоит с раздела Документация API (Friendly Captcha требует указать версию, потому что sitekey не говорит, какой из двух протоколов использует сайт, а неверный протокол даёт токен, который сайт отклонит).

Что видит посетитель для каждого типа

Те же типы, сгруппированные по действию человека. Это нужно только для того, чтобы определить, с каким из них вы столкнулись.

  • Ввести символы: графическая капча и MTCaptcha, где виджет затем записывает проверенный токен в скрытое поле.
  • Поставить флажок или выбрать картинки: reCAPTCHA v2 и hCaptcha, у каждой есть невидимая форма, которую запускает ваш собственный скрипт.
  • Ничего или флажок только при необходимости: reCAPTCHA v3, которая никогда не прерывает посетителя, Turnstile, чей управляемый режим обычно ничего не просит, и CaptchaFox, которую CapSkip описывает как обычно невидимую.
  • Перетащить фрагмент в проём: GeeTest и Capy Puzzle.
  • Фоновое доказательство работы (proof of work): ALTCHA и Friendly Captcha. Виджет ALTCHA может быть флажком, переключателем или нативным элементом, а настройка auto определяет, когда начинается проверка.
  • Целая страница вместо содержимого: Cloudflare, DataDome и AWS WAF.

Руководство Google по v3 описывает оценку от 0,0 до 1,0 на каждое действие, а что с ней делать, решает ваш целевой сайт. В CapSkip нет настройки для этой оценки, поэтому на вашей стороне настраивать нечего.

Токены истекают за минуты, cookie подчиняются правилам самого сайта

Токены форм живут недолго. В руководстве по Cloudflare Turnstile сказано, что токен истекает через 300 секунд и проверяется один раз. В документации hCaptcha для просроченного токена указано 120 секунд, в руководстве MTCaptcha по проверке токена сказано, что обычно это 120 секунд, а в руководстве Google по v3 две минуты. Запрашивайте токен у CapSkip прямо перед отправкой формы.

Cookie привязаны к клиенту и могут использоваться повторно до истечения срока, который задаёт сам сайт. DataDome сообщает, что его cookie живёт один год, а в справочнике CapSkip сказано, что cookie, повторно отправленный с другого адреса или User-Agent, обычно отклоняется. В AWS WAF и Cloudflare срок задаёт владелец сайта: у AWS WAF есть время иммунитета к CAPTCHA, по умолчанию 300 секунд при минимуме 60 секунд, а допуск Cloudflare действует столько, сколько указано в настройке Challenge Passage зоны. Поэтому решайте с того адреса и User-Agent, которыми будете пользоваться дальше.

Какой тип у вашей страницы

Ищите скрытое поле с одним из имён из таблицы или скрипт, по хосту которого видно вендора. Страница блокировки со статусом 405 и заголовком x-amzn-waf-action со значением captcha означает AWS WAF, согласно его документации. Страница с кодом 403 или 401 со слайдером или проверкой устройства означает DataDome, по справочнику CapSkip. Некоторые сайты ставят два типа подряд, например проверку страницы и виджет в форме, и каждый требует отдельного решения в том порядке, в каком их встречает браузер.

Запуск сервиса для любого из этих типов

CapSkip работает на вашем ПК с Windows, отвечает на 127.0.0.1:8080 и понимает формат запросов 2captcha, поэтому вызовы выше может использовать любой язык, умеющий делать HTTP-запросы. Лицензия фиксированная, без платы за решение. Ваша автоматизация может находиться на другой машине: Server mode заставляет CapSkip отвечать в вашей сети или на публичном IP, как это объясняют настройки подключения в руководстве по установке для этого режима. При запуске Server mode порт CapSkip открыт для всех адресов, поэтому, чтобы оставить доступ только ожидаемым машинам, добавьте блокирующее правило Windows Firewall для остальных.

Часто задаваемые вопросы

Сколько существует типов CAPTCHA?

Фиксированного числа нет, потому что вендоры постоянно добавляют форматы. В таблице четырнадцать строк. Каждая строка соответствует вызову CapSkip, кроме самого cookie Cloudflare, для которого нужен JSON API.

Нужна ли для невидимых CAPTCHA другая обработка, чем для видимых?

Только для reCAPTCHA и hCaptcha, где в вызов добавляется invisible=1. Токен возвращается так же, а callback страницы получает его вместо поля формы.

Какой тип сложнее всего автоматизировать?

У меня нет измеренного рейтинга, поэтому я его не дам. Сложность различается по группам: токены, истекающие за минуты, cookie, привязанные к IP и User-Agent, и ответы, привязанные к одной головоломке.

Можно ли попробовать каждый тип до подключения?

Да. Демо-страницы капчи содержат живые виджеты нескольких из этих типов, так что вы увидите поле, которое они заполняют, ещё до написания кода.

Выбор вызова для вашей страницы

Найдите тип в таблице, скопируйте имя поля в обработчик формы и запрашивайте свежий токен или cookie прямо перед отправкой. Если нужен один локальный инструмент для каждой строки, на главной странице CapSkip есть решение: обход капчи работает на вашем собственном ПК.