Прокси для сервиса распознавания капчи: когда он нужен, а когда нет

captcha solver proxy - CAPTCHA Solver Proxy: When You Need One and When You Don't

Прокси для сервиса распознавания капчи нужен в трёх случаях: сайт проверяет, что токен или cookie получены с того адреса, с которого вы заходите, вы решаете так часто, что один адрес упирается в ограничение частоты, или тип относится к тем, для которых в руководстве по установке нужны чистые прокси (reCAPTCHA, Turnstile, GeeTest). Задания с картинками и типы, для которых CapSkip не требует прокси, при тестировании отлично решаются с вашего собственного адреса. CapSkip работает на вашем ПК с Windows, поэтому решение без прокси уходит с вашего собственного IP-адреса, а прокси, отправленный вместе с заданием, всегда имеет приоритет над списком прокси в приложении.

Без прокси или с прокси: какие типы CAPTCHA принимают прокси

Решение состоит из набора запросов к вендору CAPTCHA, которые CapSkip делает сам, а прокси меняет лишь адрес, с которого они уходят. CapSkip выбирает этот адрес в таком порядке:

  1. Прокси, отправленный с заданием, на котором остаются и повторные попытки.
  2. Иначе прокси из списка для этого типа CAPTCHA, заданного в приложении в разделе Configure Proxies.
  3. Иначе ваш собственный IP-адрес, который, по словам руководства, работает, пока повторные запросы не приведут к блокировке.

"Без прокси" означает третий шаг, правильный вариант по умолчанию для тестов и малых объёмов.

Все четыре SDK версии 1.7.0 принимают прокси в каждом методе решения, кроме метода для картинок. Я прочитал это в исходниках всех четырёх и запускал Python и Node.js против имитации CapSkip. Правый столбец содержит то, что сказано в документации CapSkip, а не то, что я измерял.

ТипПрокси в заданииЧто сказано в документации CapSkip
Графическая капчаОтклоняется SDKРаспознавание картинок не использует прокси.
reCAPTCHA v2, v3, EnterpriseAcceptedНужен для надёжного решения. Для быстрого решения v2 нужны резидентные или мобильные прокси.
Cloudflare TurnstileAcceptedНужен для надёжного решения.
Cloudflare cf_clearanceОбязателен, метода SDK нетЕсть только в JSON API createTask. По умолчанию выключено, а пока выключено, отклоняется с ERROR_TASK_NOT_SUPPORTED.
GeeTestAcceptedНужен для надёжного решения.
hCaptcha, CaptchaFoxAcceptedНе обязателен. При объёме выше тестового в документации советуют пул, потому что вендор оценивает сеть.
AWS WAFAcceptedНе обязателен. При объёме выше тестового в документации советуют пул, потому что сайты сочетают CAPTCHA с лимитами частоты и правилами репутации.
ALTCHAAcceptedИспользуется, только когда CapSkip сам загружает задачу с challenge_url.
Capy PuzzleAcceptedНе обязателен, но нужен при больших объёмах, потому что каждое решение получает новую головоломку по живому запросу.
Friendly CaptchaAcceptedНе обязателен. Решает и без него, но сервис повышает сложность для загруженного адреса.
MTCaptchaAcceptedНе обязателен. Список используется для загрузки задачи, получения её изображения и отправки ответа.
DataDomeAcceptedНе обязателен. Cookie работает только с того адреса, который его решил, поэтому оставьте список пустым, если ваши собственные запросы не используют те же прокси.

В руководстве по установке сказано, что прокси определяют долю успеха для reCAPTCHA, Turnstile, hCaptcha, AWS WAF, GeeTest и CaptchaFox. Документация API добавляет, что CapSkip не требует прокси ни для hCaptcha, ни для AWS WAF, CaptchaFox, Capy Puzzle, Friendly Captcha, DataDome и MTCaptcha.

Когда прокси должен совпадать с вашими запросами

Первая причина: привязка. Некоторые ответы работают, только если ваш следующий запрос идёт с адреса, который их получил. В документации CapSkip это сказано о двух:

  • Cookie DataDome работает только с того адреса, который его решил, поэтому вместе с заданием отправьте прокси, которым ваш скрапер будет пользоваться и дальше, и используйте cookie через тот же прокси. Прокси, который меняет адрес при каждом соединении, не может дать рабочий cookie.
  • Cloudflare привязывает cookie cf_clearance к адресу и User-Agent, которые его получили, а CapSkip отклоняет задание cf_clearance без прокси. В собственной странице о clearance сказано лишь, что cookie привязан к посетителю и устройству, которым он выдан, поэтому правило про адрес считайте советом CapSkip.

Для hCaptcha в документации сказано отправлять форму с того же адреса и с User-Agent, который назван в ответе. MTCaptcha даёт контраст: в его документации проверка сайта охватывает sitekey и домен, поэтому там прокси в основном распределяет нагрузку. Когда ответ привязан, один прокси покрывает загрузку страницы, решение и последующие запросы.

Списки прокси, Max. Threads и ротация

Вторая причина использовать прокси для сервиса распознавания капчи: объём. В руководстве по установке сказано, что Google и Cloudflare ограничивают, сколько решений может пройти с одного адреса, поэтому постоянный поток с одного IP заканчивается блокировками. Решение: список в приложении, а не прокси в каждом вызове. Важны три настройки:

  • Max. Threads задаёт, сколько заданий одного типа выполняется одновременно. В руководстве советуют иметь прокси не меньше, чем потоков, и считают растущий счётчик IP Bans на вкладках Monitor для reCAPTCHA и Turnstile признаком того, что прокси пора менять.
  • У каждого типа свой список, Reuse proxies копирует список одного типа в другой, а Check Proxies заранее находит нерабочие записи.
  • Rotate Proxy for Each Request говорит CapSkip брать новый прокси из списка для каждого запроса CAPTCHA. Fast solve, опция AWS WAF, позволяет каждому потоку открывать до четырёх прокси-соединений, поэтому пропустите её, если ваш тариф считает соединения.

Про ротацию прокси в собственном коде читайте в руководстве ротация прокси при распознавании капчи (там это разобрано подробно).

Как отправить прокси с одним заданием

Запрос отправки принимает поле proxy в формате IP:PORT, login:password@IP:PORT или IP:PORT:LOGIN:PASSWORD и поле proxytype со значением HTTP, HTTPS, SOCKS5 или SOCKS5H. Без типа CapSkip предполагает HTTP, а SOCKS4 отклоняется. SOCKS5H также разрешает имена хостов на стороне прокси.

SDK принимают объект с типом и адресом либо простую строку, для которой тип по умолчанию HTTP (по исходникам всех четырёх). HTTP-клиенты принимают URL, поэтому приведённый ниже помощник преобразует его. Он ожидает scheme://user:password@host:port, декодирует логин и пароль в процентной кодировке и подставляет пропущенный порт. Избегайте пароля с @ или двоеточием: я это не проверял.

Этот скрипт на Python запускает схему DataDome из раздела о привязке: загружает страницу через прокси, решает через тот же прокси и использует cookie через него.

# python -m pip install capskip requests
import re
from urllib.parse import unquote, urlsplit

import requests
from capskip import CapSkip

# The proxy as your HTTP client writes it: scheme://user:password@host:port
PROXY_URL = "http://user:[email protected]:3128"
PAGE_URL = "https://example.com/products"


def capskip_proxy(url):
    """Rewrite a proxy URL as the type and address CapSkip takes."""
    parts = urlsplit(url)
    scheme = parts.scheme.lower()
    port = parts.port or (1080 if scheme.startswith("socks") else 443 if scheme == "https" else 80)
    login = ""
    if parts.username:
        if not parts.password:
            raise ValueError("expected user:password in the proxy URL")
        login = f"{unquote(parts.username)}:{unquote(parts.password)}@"
    return {"type": scheme.upper(), "uri": f"{login}{parts.hostname}:{port}"}


solver = CapSkip(host="127.0.0.1", port=8080)
session = requests.Session()
session.proxies = {"http": PROXY_URL, "https": PROXY_URL}

# 1. Ask for the page through the proxy. A DataDome block page carries
# the address of its challenge in an iframe.
blocked = session.get(PAGE_URL, timeout=30)
frame = re.search(r'<iframe[^>]+src="([^"]*captcha-delivery\.com/[^"]+)"', blocked.text)
if not frame:
    raise SystemExit("no challenge iframe: not a DataDome block page")
captcha_url = frame.group(1).replace("&amp;", "&")

# 2. Solve through the same proxy.
result = solver.datadome(captcha_url, PAGE_URL, proxy=capskip_proxy(PROXY_URL))

# 3. Use the cookie through that proxy, with the User-Agent the reply names.
session.headers["User-Agent"] = result["userAgent"]
session.headers["Cookie"] = result["cookie"]
page = session.get(PAGE_URL, timeout=30)
print(blocked.status_code, page.status_code)  # 403 for the block page, then the page

У Node.js та же схема, с undici для запроса через прокси. undici объявляет Node.js 22.19 или новее, и это задаёт нижнюю границу для примера.

// npm install capskip undici
const { CapSkip } = require('capskip');
const { fetch, ProxyAgent } = require('undici');

// The proxy as your HTTP client writes it: scheme://user:password@host:port
const PROXY_URL = 'http://user:[email protected]:3128';
const PAGE_URL = 'https://example.com/products';

// Rewrite a proxy URL as the type and address CapSkip takes.
function capskipProxy(proxyUrl) {
  const u = new URL(proxyUrl);
  const scheme = u.protocol.replace(':', '');
  const port = u.port || (scheme.startsWith('socks') ? '1080' : scheme === 'https' ? '443' : '80');
  let login = '';
  if (u.username) {
    if (!u.password) throw new Error('expected user:password in the proxy URL');
    login = `${decodeURIComponent(u.username)}:${decodeURIComponent(u.password)}@`;
  }
  return { type: scheme.toUpperCase(), uri: `${login}${u.hostname}:${port}` };
}

const solver = new CapSkip({ host: '127.0.0.1', port: 8080 });
const dispatcher = new ProxyAgent(PROXY_URL);

async function main() {
  // 1. Ask for the page through the proxy. A DataDome block page carries
  // the address of its challenge in an iframe.
  const blocked = await fetch(PAGE_URL, { dispatcher });
  const frame = (await blocked.text()).match(/<iframe[^>]+src="([^"]*captcha-delivery\.com\/[^"]+)"/);
  if (!frame) throw new Error('no challenge iframe: not a DataDome block page');
  const captchaUrl = frame[1].replace(/&amp;/g, '&');

  // 2. Solve through the same proxy.
  const result = await solver.dataDome(captchaUrl, PAGE_URL, { proxy: capskipProxy(PROXY_URL) });

  // 3. Use the cookie through that proxy, with the User-Agent the reply names.
  const page = await fetch(PAGE_URL, {
    dispatcher,
    headers: { 'User-Agent': result.userAgent, Cookie: result.cookie },
  });
  console.log(blocked.status, page.status); // 403 for the block page, then the page
}

main();

Все четыре SDK проверяют тип до отправки любых запросов и отклоняют прокси для задания с картинкой. Я запускал Python и Node.js и прочитал исходники PHP и .NET. Этот скрипт показывает оба отказа:

# python -m pip install capskip
from capskip import CapSkip, ValidationException

solver = CapSkip(host="127.0.0.1", port=8080)

# SOCKS4 is not a type CapSkip takes.
try:
    solver.turnstile("YOUR_SITEKEY", "https://example.com/login",
                     proxy={"type": "SOCKS4", "uri": "203.0.113.10:1080"})
except ValidationException as err:
    print(err)

# Image jobs take no proxy at all.
try:
    solver.normal("captcha.png", proxy={"type": "HTTP", "uri": "203.0.113.10:3128"})
except ValidationException as err:
    print(err)

Я запускал блоки против написанных мной имитаций CapSkip, HTTP-прокси и сайта на Python 3.11.7, 3.13.7 и 3.14.0 с capskip 1.7.0 и requests 2.34.2, а также на Node.js 24.22.0 с capskip 1.7.0 и undici 8.12.4. Имитация сайта отдаёт страницу только запросу с cookie и User-Agent, которые вернула имитация CapSkip, и это моё правило. Имитация CapSkip записала прокси как user:pass@host:port с типом HTTP, а имитация прокси увидела обе загрузки страницы. Ничто из этого не показывает, как ведёт себя DataDome.

Настоящее приложение CapSkip на моём ПК ответило на 33 неверных запроса mt_captcha без sitekey, поэтому ни один не смог запустить задание. Оно вернуло ERROR_PROXY_FORMAT для SOCKS4, для адреса без порта и для порта 99999 и приняло три документированных формата адреса, имя хоста и тип в нижнем регистре. Версия сборки была 4.3.0 или новее, точная не подтверждена, и был покрыт один метод.

Чего прокси не исправит

  • Дешёвый адрес с плохой репутацией. В руководстве по установке сказано, что результат определяет репутация, а не протокол, и что общий адрес ухудшают другие клиенты.
  • Прокси, который отклоняет CapSkip. ERROR_PROXY_FORMAT означает, что значение не удалось прочитать, а ERROR_PROXY_MISSING означает, что в задании, которому нужен прокси, его не было. ERROR_PROXY_BANNED означает, что защита сайта заблокировала адрес прокси, а ERROR_PROXY_CONNECT_REFUSED означает, что CapSkip не смог открыть страницу через прокси. В двух последних случаях замените прокси.

Запуск CapSkip на сервере

CapSkip сам устанавливает соединение с прокси, поэтому ваш поставщик прокси видит ту машину, на которой он запущен. Если поставщик допускает только адреса из списка, внесите в него этот ПК или сервер. В Server mode, который включается в разделе Настройки подключения, ваши скрипты обращаются к CapSkip с других машин, поэтому решение уходит с сервера, а загрузка страницы с машины скрипта. Тогда для привязанного ответа нужен один и тот же прокси в обоих местах. Server mode заставляет CapSkip принимать подключения с любого адреса, поэтому, чтобы ограничить их своими машинами, добавьте блокирующее правило Windows Firewall, которое закрывает всё остальное.

FAQ

Переопределяет ли прокси, отправленный с заданием, список в приложении?

Да. В руководстве по установке сказано, что прокси, отправленный с заданием, используется вместо списка для этого типа, и повторные попытки задания остаются на нём.

Какие типы CapSkip отклоняют прокси?

Только задания с картинками. SDK отклоняют прокси для задания с картинкой до отправки чего-либо, а любой другой тип его принимает.

Нужно ли использовать для каждого решения другой прокси?

Нет. Одно решение делает много запросов, поэтому в руководстве по установке советуют один адрес на всё решение и липкие сессии на несколько минут от ротирующего шлюза.

Коротко

Решайте без прокси, пока тестируете, добавляйте его к заданию, когда ответ привязан к вашему адресу, и загружайте список для каждого типа по числу Max. Threads, когда объём приводит к блокировкам. CapSkip даёт распознавание капчи на вашем оборудовании, поэтому неудачная попытка стоит лишь повтора. Документация по API перечисляет параметры для каждого типа, а руководство по Python описывает клиентскую часть на Python. Руководство по Node.js делает то же для Node.js.