Прокси для сервиса распознавания капчи: когда он нужен, а когда нет

Прокси для сервиса распознавания капчи нужен в трёх случаях: сайт проверяет, что токен или cookie получены с того адреса, с которого вы заходите, вы решаете так часто, что один адрес упирается в ограничение частоты, или тип относится к тем, для которых в руководстве по установке нужны чистые прокси (reCAPTCHA, Turnstile, GeeTest). Задания с картинками и типы, для которых CapSkip не требует прокси, при тестировании отлично решаются с вашего собственного адреса. CapSkip работает на вашем ПК с Windows, поэтому решение без прокси уходит с вашего собственного IP-адреса, а прокси, отправленный вместе с заданием, всегда имеет приоритет над списком прокси в приложении.
Без прокси или с прокси: какие типы CAPTCHA принимают прокси
Решение состоит из набора запросов к вендору CAPTCHA, которые CapSkip делает сам, а прокси меняет лишь адрес, с которого они уходят. CapSkip выбирает этот адрес в таком порядке:
- Прокси, отправленный с заданием, на котором остаются и повторные попытки.
- Иначе прокси из списка для этого типа CAPTCHA, заданного в приложении в разделе Configure Proxies.
- Иначе ваш собственный IP-адрес, который, по словам руководства, работает, пока повторные запросы не приведут к блокировке.
"Без прокси" означает третий шаг, правильный вариант по умолчанию для тестов и малых объёмов.
Все четыре SDK версии 1.7.0 принимают прокси в каждом методе решения, кроме метода для картинок. Я прочитал это в исходниках всех четырёх и запускал Python и Node.js против имитации CapSkip. Правый столбец содержит то, что сказано в документации CapSkip, а не то, что я измерял.
| Тип | Прокси в задании | Что сказано в документации CapSkip |
|---|---|---|
| Графическая капча | Отклоняется SDK | Распознавание картинок не использует прокси. |
| reCAPTCHA v2, v3, Enterprise | Accepted | Нужен для надёжного решения. Для быстрого решения v2 нужны резидентные или мобильные прокси. |
| Cloudflare Turnstile | Accepted | Нужен для надёжного решения. |
| Cloudflare cf_clearance | Обязателен, метода SDK нет | Есть только в JSON API createTask. По умолчанию выключено, а пока выключено, отклоняется с ERROR_TASK_NOT_SUPPORTED. |
| GeeTest | Accepted | Нужен для надёжного решения. |
| hCaptcha, CaptchaFox | Accepted | Не обязателен. При объёме выше тестового в документации советуют пул, потому что вендор оценивает сеть. |
| AWS WAF | Accepted | Не обязателен. При объёме выше тестового в документации советуют пул, потому что сайты сочетают CAPTCHA с лимитами частоты и правилами репутации. |
| ALTCHA | Accepted | Используется, только когда CapSkip сам загружает задачу с challenge_url. |
| Capy Puzzle | Accepted | Не обязателен, но нужен при больших объёмах, потому что каждое решение получает новую головоломку по живому запросу. |
| Friendly Captcha | Accepted | Не обязателен. Решает и без него, но сервис повышает сложность для загруженного адреса. |
| MTCaptcha | Accepted | Не обязателен. Список используется для загрузки задачи, получения её изображения и отправки ответа. |
| DataDome | Accepted | Не обязателен. Cookie работает только с того адреса, который его решил, поэтому оставьте список пустым, если ваши собственные запросы не используют те же прокси. |
В руководстве по установке сказано, что прокси определяют долю успеха для reCAPTCHA, Turnstile, hCaptcha, AWS WAF, GeeTest и CaptchaFox. Документация API добавляет, что CapSkip не требует прокси ни для hCaptcha, ни для AWS WAF, CaptchaFox, Capy Puzzle, Friendly Captcha, DataDome и MTCaptcha.
Когда прокси должен совпадать с вашими запросами
Первая причина: привязка. Некоторые ответы работают, только если ваш следующий запрос идёт с адреса, который их получил. В документации CapSkip это сказано о двух:
- Cookie DataDome работает только с того адреса, который его решил, поэтому вместе с заданием отправьте прокси, которым ваш скрапер будет пользоваться и дальше, и используйте cookie через тот же прокси. Прокси, который меняет адрес при каждом соединении, не может дать рабочий cookie.
- Cloudflare привязывает cookie cf_clearance к адресу и User-Agent, которые его получили, а CapSkip отклоняет задание cf_clearance без прокси. В собственной странице о clearance сказано лишь, что cookie привязан к посетителю и устройству, которым он выдан, поэтому правило про адрес считайте советом CapSkip.
Для hCaptcha в документации сказано отправлять форму с того же адреса и с User-Agent, который назван в ответе. MTCaptcha даёт контраст: в его документации проверка сайта охватывает sitekey и домен, поэтому там прокси в основном распределяет нагрузку. Когда ответ привязан, один прокси покрывает загрузку страницы, решение и последующие запросы.
Списки прокси, Max. Threads и ротация
Вторая причина использовать прокси для сервиса распознавания капчи: объём. В руководстве по установке сказано, что Google и Cloudflare ограничивают, сколько решений может пройти с одного адреса, поэтому постоянный поток с одного IP заканчивается блокировками. Решение: список в приложении, а не прокси в каждом вызове. Важны три настройки:
- Max. Threads задаёт, сколько заданий одного типа выполняется одновременно. В руководстве советуют иметь прокси не меньше, чем потоков, и считают растущий счётчик IP Bans на вкладках Monitor для reCAPTCHA и Turnstile признаком того, что прокси пора менять.
- У каждого типа свой список, Reuse proxies копирует список одного типа в другой, а Check Proxies заранее находит нерабочие записи.
- Rotate Proxy for Each Request говорит CapSkip брать новый прокси из списка для каждого запроса CAPTCHA. Fast solve, опция AWS WAF, позволяет каждому потоку открывать до четырёх прокси-соединений, поэтому пропустите её, если ваш тариф считает соединения.
Про ротацию прокси в собственном коде читайте в руководстве ротация прокси при распознавании капчи (там это разобрано подробно).
Как отправить прокси с одним заданием
Запрос отправки принимает поле proxy в формате IP:PORT, login:password@IP:PORT или IP:PORT:LOGIN:PASSWORD и поле proxytype со значением HTTP, HTTPS, SOCKS5 или SOCKS5H. Без типа CapSkip предполагает HTTP, а SOCKS4 отклоняется. SOCKS5H также разрешает имена хостов на стороне прокси.
SDK принимают объект с типом и адресом либо простую строку, для которой тип по умолчанию HTTP (по исходникам всех четырёх). HTTP-клиенты принимают URL, поэтому приведённый ниже помощник преобразует его. Он ожидает scheme://user:password@host:port, декодирует логин и пароль в процентной кодировке и подставляет пропущенный порт. Избегайте пароля с @ или двоеточием: я это не проверял.
Этот скрипт на Python запускает схему DataDome из раздела о привязке: загружает страницу через прокси, решает через тот же прокси и использует cookie через него.
# python -m pip install capskip requests import re from urllib.parse import unquote, urlsplit import requests from capskip import CapSkip # The proxy as your HTTP client writes it: scheme://user:password@host:port PROXY_URL = "http://user:[email protected]:3128" PAGE_URL = "https://example.com/products" def capskip_proxy(url): """Rewrite a proxy URL as the type and address CapSkip takes.""" parts = urlsplit(url) scheme = parts.scheme.lower() port = parts.port or (1080 if scheme.startswith("socks") else 443 if scheme == "https" else 80) login = "" if parts.username: if not parts.password: raise ValueError("expected user:password in the proxy URL") login = f"{unquote(parts.username)}:{unquote(parts.password)}@" return {"type": scheme.upper(), "uri": f"{login}{parts.hostname}:{port}"} solver = CapSkip(host="127.0.0.1", port=8080) session = requests.Session() session.proxies = {"http": PROXY_URL, "https": PROXY_URL} # 1. Ask for the page through the proxy. A DataDome block page carries # the address of its challenge in an iframe. blocked = session.get(PAGE_URL, timeout=30) frame = re.search(r'<iframe[^>]+src="([^"]*captcha-delivery\.com/[^"]+)"', blocked.text) if not frame: raise SystemExit("no challenge iframe: not a DataDome block page") captcha_url = frame.group(1).replace("&", "&") # 2. Solve through the same proxy. result = solver.datadome(captcha_url, PAGE_URL, proxy=capskip_proxy(PROXY_URL)) # 3. Use the cookie through that proxy, with the User-Agent the reply names. session.headers["User-Agent"] = result["userAgent"] session.headers["Cookie"] = result["cookie"] page = session.get(PAGE_URL, timeout=30) print(blocked.status_code, page.status_code) # 403 for the block page, then the page
У Node.js та же схема, с undici для запроса через прокси. undici объявляет Node.js 22.19 или новее, и это задаёт нижнюю границу для примера.
// npm install capskip undici
const { CapSkip } = require('capskip');
const { fetch, ProxyAgent } = require('undici');
// The proxy as your HTTP client writes it: scheme://user:password@host:port
const PROXY_URL = 'http://user:[email protected]:3128';
const PAGE_URL = 'https://example.com/products';
// Rewrite a proxy URL as the type and address CapSkip takes.
function capskipProxy(proxyUrl) {
const u = new URL(proxyUrl);
const scheme = u.protocol.replace(':', '');
const port = u.port || (scheme.startsWith('socks') ? '1080' : scheme === 'https' ? '443' : '80');
let login = '';
if (u.username) {
if (!u.password) throw new Error('expected user:password in the proxy URL');
login = `${decodeURIComponent(u.username)}:${decodeURIComponent(u.password)}@`;
}
return { type: scheme.toUpperCase(), uri: `${login}${u.hostname}:${port}` };
}
const solver = new CapSkip({ host: '127.0.0.1', port: 8080 });
const dispatcher = new ProxyAgent(PROXY_URL);
async function main() {
// 1. Ask for the page through the proxy. A DataDome block page carries
// the address of its challenge in an iframe.
const blocked = await fetch(PAGE_URL, { dispatcher });
const frame = (await blocked.text()).match(/<iframe[^>]+src="([^"]*captcha-delivery\.com\/[^"]+)"/);
if (!frame) throw new Error('no challenge iframe: not a DataDome block page');
const captchaUrl = frame[1].replace(/&/g, '&');
// 2. Solve through the same proxy.
const result = await solver.dataDome(captchaUrl, PAGE_URL, { proxy: capskipProxy(PROXY_URL) });
// 3. Use the cookie through that proxy, with the User-Agent the reply names.
const page = await fetch(PAGE_URL, {
dispatcher,
headers: { 'User-Agent': result.userAgent, Cookie: result.cookie },
});
console.log(blocked.status, page.status); // 403 for the block page, then the page
}
main();Все четыре SDK проверяют тип до отправки любых запросов и отклоняют прокси для задания с картинкой. Я запускал Python и Node.js и прочитал исходники PHP и .NET. Этот скрипт показывает оба отказа:
# python -m pip install capskip
from capskip import CapSkip, ValidationException
solver = CapSkip(host="127.0.0.1", port=8080)
# SOCKS4 is not a type CapSkip takes.
try:
solver.turnstile("YOUR_SITEKEY", "https://example.com/login",
proxy={"type": "SOCKS4", "uri": "203.0.113.10:1080"})
except ValidationException as err:
print(err)
# Image jobs take no proxy at all.
try:
solver.normal("captcha.png", proxy={"type": "HTTP", "uri": "203.0.113.10:3128"})
except ValidationException as err:
print(err)Я запускал блоки против написанных мной имитаций CapSkip, HTTP-прокси и сайта на Python 3.11.7, 3.13.7 и 3.14.0 с capskip 1.7.0 и requests 2.34.2, а также на Node.js 24.22.0 с capskip 1.7.0 и undici 8.12.4. Имитация сайта отдаёт страницу только запросу с cookie и User-Agent, которые вернула имитация CapSkip, и это моё правило. Имитация CapSkip записала прокси как user:pass@host:port с типом HTTP, а имитация прокси увидела обе загрузки страницы. Ничто из этого не показывает, как ведёт себя DataDome.
Настоящее приложение CapSkip на моём ПК ответило на 33 неверных запроса mt_captcha без sitekey, поэтому ни один не смог запустить задание. Оно вернуло ERROR_PROXY_FORMAT для SOCKS4, для адреса без порта и для порта 99999 и приняло три документированных формата адреса, имя хоста и тип в нижнем регистре. Версия сборки была 4.3.0 или новее, точная не подтверждена, и был покрыт один метод.
Чего прокси не исправит
- Дешёвый адрес с плохой репутацией. В руководстве по установке сказано, что результат определяет репутация, а не протокол, и что общий адрес ухудшают другие клиенты.
- Прокси, который отклоняет CapSkip. ERROR_PROXY_FORMAT означает, что значение не удалось прочитать, а ERROR_PROXY_MISSING означает, что в задании, которому нужен прокси, его не было. ERROR_PROXY_BANNED означает, что защита сайта заблокировала адрес прокси, а ERROR_PROXY_CONNECT_REFUSED означает, что CapSkip не смог открыть страницу через прокси. В двух последних случаях замените прокси.
Запуск CapSkip на сервере
CapSkip сам устанавливает соединение с прокси, поэтому ваш поставщик прокси видит ту машину, на которой он запущен. Если поставщик допускает только адреса из списка, внесите в него этот ПК или сервер. В Server mode, который включается в разделе Настройки подключения, ваши скрипты обращаются к CapSkip с других машин, поэтому решение уходит с сервера, а загрузка страницы с машины скрипта. Тогда для привязанного ответа нужен один и тот же прокси в обоих местах. Server mode заставляет CapSkip принимать подключения с любого адреса, поэтому, чтобы ограничить их своими машинами, добавьте блокирующее правило Windows Firewall, которое закрывает всё остальное.
FAQ
Переопределяет ли прокси, отправленный с заданием, список в приложении?
Да. В руководстве по установке сказано, что прокси, отправленный с заданием, используется вместо списка для этого типа, и повторные попытки задания остаются на нём.
Какие типы CapSkip отклоняют прокси?
Только задания с картинками. SDK отклоняют прокси для задания с картинкой до отправки чего-либо, а любой другой тип его принимает.
Нужно ли использовать для каждого решения другой прокси?
Нет. Одно решение делает много запросов, поэтому в руководстве по установке советуют один адрес на всё решение и липкие сессии на несколько минут от ротирующего шлюза.
Коротко
Решайте без прокси, пока тестируете, добавляйте его к заданию, когда ответ привязан к вашему адресу, и загружайте список для каждого типа по числу Max. Threads, когда объём приводит к блокировкам. CapSkip даёт распознавание капчи на вашем оборудовании, поэтому неудачная попытка стоит лишь повтора. Документация по API перечисляет параметры для каждого типа, а руководство по Python описывает клиентскую часть на Python. Руководство по Node.js делает то же для Node.js.
