Парсинг

Сервис распознавания капчи для парсинга и краулеров Scrapy

Пусть ваши краулеры проходят reCAPTCHA, Cloudflare Turnstile и картиночные капчи с локальным решателем, который берёт одну фиксированную цену, сколько бы страниц вы ни парсили.

Windows x64·Работает локально, поэтому капча не покидает ваш компьютер
  • Безлимитное распознавание капчи
  • Неограниченное число потоков
  • Точность 90-100%
капч в месяц11,000
11.0k250.0k
В других сервисах поштучно, примерно $1.40 за 1000$15.40
CapSkip Bronze, фиксированно$10.00
$5.40остаётся у вас в карманекаждый месяц при таком объёме

Сервис распознавания капчи для парсинга нужнее всего в тот момент, когда краулер, часами работавший без сбоев, натыкается на промежуточную страницу reCAPTCHA или проверку Cloudflare Turnstile, и все последующие ответы приходят пустыми. CapSkip работает локально на вашей собственной машине с Windows или на VPS и возвращает токен вашему парсеру, поэтому краулинг продолжается, а не застревает перед капчей.

Именно в парсинге плата за каждое решение бьёт по карману сильнее всего. 2Captcha, Anti-Captcha, CapSolver и подобные сервисы продают кредиты и берут плату за каждые 1 000 решений, поэтому стоимость краулинга растёт вместе с его масштабом, и на большой задаче на капчи можно потратить больше, чем на прокси. У CapSkip фиксированная цена и никаких кредитов: одна подписка от $10/мес плюс разовая пожизненная лицензия за $99 покрывают безлимитные решения и безлимитные потоки. Вы можете наращивать параллелизм, не увеличивая счёт, а шквал повторных попыток не стоит ничего сверх тарифа.

Он вписывается в любой стек, с которым вы уже парсите. Вызывайте SDK для Python, Node.js, PHP или .NET из Scrapy, requests, Selenium, Playwright или Puppeteer, загрузите браузерное расширение для запусков с интерфейсом или направьте существующий клиентский код 2Captcha и Anti-Captcha на локальную эмуляцию API в CapSkip, и сохраните весь имеющийся код. Поскольку распознавание выполняется локально, ваши целевые URL, site keys и изображения страниц никогда не передаются стороннему сервису, а это важно, когда объекты парсинга составляют ваш бизнес.

Программирование не требуется. Запустите приложение CapSkip и браузерное расширение подключается автоматически, а затем решает капчи прямо на странице. Уже пользуетесь другим сервисом? Перейти легко: CapSkip работает как совместимая «из коробки» распознавание капчи который эмулирует 2Captcha, RuCaptcha, Anti-Captcha, CapMonster Cloud, CapSolver, DeathByCaptcha, SolveCaptcha и Captchas.io. Добавьте свой сервис в hosts-файл в приложении CapSkip, и ваш существующий код будет направлен в CapSkip и решён локально, без изменений.

Распознавание капчи для парсинга: функции, созданные для краулеров

Встраивается в downloader middleware Scrapy

Вызывайте AsyncCapSkip из асинхронного process_response при включённом реакторе asyncio, чтобы текущее решение капчи никогда не блокировало остальные запросы краулинга.

Решение через ваши собственные прокси

Передавайте прокси HTTP, HTTPS, SOCKS5 или SOCKS5h с каждым решением reCAPTCHA или Turnstile, чтобы токен приходил с того же IP, который использует ваш краулер. Капчам-картинкам прокси не нужен.

Headless-браузер не нужен

Парсеры на requests, httpx или aiohttp получают токен по URL страницы и sitekey и отправляют его вместе с формой, так что запускать браузер только ради капчи не нужно.

Много воркеров, один экземпляр CapSkip

Каждый паук, воркер и контейнер может одновременно обращаться к одному и тому же экземпляру CapSkip. Лимита запросов на ключ нет, поэтому пропускная способность определяется вашим оборудованием.

Меняйте сервис распознавания, а не пайплайн

Краулерам, которые уже отправляют задачи в 2Captcha, Anti-Captcha или CapSolver, правки не нужны: включите соответствующий эмулятор в приложении CapSkip, нажмите «Add to hosts file», и на те же вызовы будут отвечать локально.

Не нужно пополнять кредиты

Одна лицензия покрывает каждую страницу, которую вы обходите, сколько бы капч на ней ни встретилось. Начните с пробного периода за $1: 1 000 решений за 7 дней на ваших реальных целевых сайтах.

Подключите распознавание капчи к любому стеку для парсинга

Python
# pip install capskip
from capskip import CapSkip
import requests

solver = CapSkip(host="127.0.0.1", port=8080)
session = requests.Session()

# The search results are behind a reCAPTCHA, so solve it first.
token = solver.recaptcha(
    sitekey="YOUR_SITEKEY",
    url="https://example.com/search",
)["code"]

page = session.post(
    "https://example.com/search",
    data={"q": "widgets", "g-recaptcha-response": token},
)

print(page.status_code, len(page.text))

Решите капчу, отправьте токен, продолжайте парсинг. Безлимитные решения, безлимитные потоки, фиксированная цена.

Браузерное расширение без кода

Установите расширение CapSkip, и оно обнаружит виджет на любой странице и решит его за вас: ничего программировать не нужно.

Официальные SDK

Автоматизируйте решение из собственного кода с помощью клиентов Python, Node.js, PHP и C#. Несколько строк возвращают действительный токен.

Локальный HTTP API

Предпочитаете чистый HTTP? CapSkip предоставляет локальный эндпоинт с эмуляцией API 2Captcha и Anti-Captcha, поэтому подойдёт любой HTTP-клиент.

Посмотрите, как это работает на реальной проверке

Мы размещаем живые интерактивные демо-страницы для каждого типа капчи. Загрузите настоящий виджет, запустите CapSkip и наблюдайте, как возвращается токен.

Настройте локальное распознавание капчи для своего краулера

  1. Установите CapSkip

    Скачать десктопное приложение для Windows (или запустите его на VPS) и откройте его. Локальный решатель запускается автоматически.

  2. Войдите в приложение

    Купить Пробный период за $1 или Лицензия Bronze / Silver / Gold и данные для входа сразу приходят на электронную почту, а лицензия активируется в момент оплаты. Войдите с ними в приложение, и вы готовы решать капчу. руководство по настройке подробно объясняет это.

  3. Решать автоматически

    Используйте браузерное расширение для решения без кода, или вызовите SDK / HTTP API из вашей автоматизации.

CapSkip против API с оплатой за решение

ФункцияCapSkipAPI с оплатой за каждое решение
Стоимость большого обходаФиксированная месячная цена, безлимитное распознаваниеРастёт с каждой страницей, показывающей капчу
ПараллелизмНеограниченное число потоков, чтобы вы могли свободно масштабировать воркерыЧем больше параллельных воркеров, тем быстрее сгорает баланс
Где выполняется решениеНа вашей собственной машине для парсинга или VPSУдалённые серверы, дополнительный переход для каждой капчи
Задержка на каждую капчу~0,1 с для капч-картинок, токены без общей очередиСетевое обращение туда-обратно плюс время в общей очереди
Что видит поставщикНичего: целевые URL и данные страниц остаются на вашей машинеЦелевые URL, site keys и изображения отправляются наружу
Интеграция с парсеромSDK для Python, Node.js, PHP и .NET, плюс полная эмуляция APIОтдельный клиент под каждый сервис
Повторы и сбоиПовторяйте попытки сколько угодно без доплатКаждая повторная попытка означает ещё одно платное решение

Цены

Хватит платить за каждое решение

Выберите лицензию

Лицензия Bronze

$10/ месяц

Подписаться на Bronze

Мгновенная активация лицензии

Ежемесячную подписку можно отменить в любой момент, лицензия остаётся у вас.

Все три лицензии дают один и тот же продукт.

Bronze, Silver и Gold отличаются только одним: на скольких машинах вы его запускаете.

  • Безлимитное решение, без дневных ограничений
  • Безлимитные потоки, скорость растёт вместе с оборудованием
  • Точность распознавания от 90% до 100%
  • Прямая замена API основных сервисов распознавания
  • Работает почти с любым инструментом, без программирования
  • REST API, SDK и расширение для браузера
  • Бесплатное обучение, когда появляется новый тип капчи
  • Работает на вашей машине, ничего с неё не уходит

Каждый тип капчи, показанный выше, входит в любую лицензию. Посмотреть список типов

Просто хотите сначала попробовать?

Начните с 7-дневного пробного периода за $1 и решите 1000 капч любого типа на своих целевых сайтах.

Начать пробный период за $1

Как обойти капчу при парсинге

Шаг 1. Обнаружьте капчу до разбора страницы. Атрибут data-sitekey рядом с классом g-recaptcha или cf-turnstile, страница Cloudflare с заголовком «Just a moment», внезапный ответ 403 или 429, а также страница намного короче обычной: любой из этих признаков означает, что нужного вам контента на странице нет.

Шаг 2. Определите тип. reCAPTCHA загружает свой скрипт с google.com/recaptcha, Turnstile подгружает свой с challenges.cloudflare.com, а капча-картинка выглядит как обычный тег img рядом с текстовым полем. hCaptcha тоже содержит data-sitekey, но использует класс h-captcha; CapSkip её не решает, поэтому смените прокси или пропустите этот URL, а не отправляйте его на решение.

Шаг 3. Решите капчу. Капчам с токеном нужны URL страницы и sitekey, плюс прокси, который использует ваш краулер; капчам-картинкам нужны только байты изображения. SDK возвращает токен в первом случае и распознанный текст примерно за 0,1 секунды во втором.

Шаг 4. Отправьте токен в той же сессии. Передайте его в поле, которое ожидает форма, например g-recaptcha-response или cf-turnstile-response, вместе с cookie, установленными страницей проверки, и не медлите: токен reCAPTCHA действителен всего две минуты.

Шаг 5. В Scrapy поместите эту логику в downloader middleware. Включите реактор asyncio, вызовите AsyncCapSkip из асинхронного process_response и верните новый FormRequest с токеном, чтобы одно решение никогда не приостанавливало остальной краулинг.

Шаг 6. Держите частоту капч на низком уровне. Разумный темп запросов, реальные заголовки и хорошие прокси определяют, как часто капча вообще появляется; сервису распознавания остаётся справиться только с тем, что всё же прорвётся.

Руководства по теме: Middleware для капчи в Scrapy · ротация прокси при распознавании капчи · Ошибка HTTP 429 Too Many Requests

Как обрабатывать капчи при парсинге?
Обнаружьте задание, решите его, затем продолжите запрос с результатом. С CapSkip вы передаёте URL страницы и site key для reCAPTCHA или Turnstile и отправляете полученный токен вместе с данными формы, либо передаёте изображение для капчи с картинкой и получаете обратно текст. Распознавание капчи выполняется локально, поэтому не добавляет сетевых задержек к парсингу.
Как сравнивать сервисы, которые решают капчи во время парсинга?
Считайте стоимость всего краулинга, а не одного решения: умножьте ожидаемое число капч в месяц на цену за 1 000 и добавьте повторные попытки. Затем сравните лимиты параллельности, задержку на одну капчу, поддерживаемые типы капчи и то, покидают ли ваши целевые URL вашу сеть. CapSkip отвечает на эти вопросы фиксированной ценой, безлимитными потоками и локальным распознаванием.
Как добавить распознавание капчи в Scrapy?
Напишите downloader middleware, в котором process_response замечает капчу, решает её через AsyncCapSkip и возвращает FormRequest с токеном. Включите реактор asyncio в настройках, чтобы ожидание решения через await не задерживало другие запросы.
Можно ли решать капчи без запуска headless-браузера?
Часто да. CapSkip загружает переданный вами URL страницы и возвращает токен, так что парсеру на requests, httpx или aiohttp остаётся лишь отправить его вместе с формой, а капчам-картинкам не нужно ничего, кроме изображения. Браузер всё же пригодится, когда страница собирает форму или запрос на JavaScript уже после проверки.
Нужно ли покупать кредиты на распознавание капчи для парсинга?
С CapSkip не нужно: баланса, который мог бы закончиться, здесь просто нет. Разовая пожизненная лицензия за $99 плюс подписка от $10/мес покрывают безлимитные решения, а пробный период за $1 даёт 1 000 решений на 7 дней, чтобы сначала проверить ваши целевые сайты.
Сможет ли CapSkip провести мой краулер через Cloudflare Turnstile?
Да. CapSkip решает и виджет Turnstile, и полную страницу проверки Turnstile, а также reCAPTCHA v2, v3 и Enterprise, GeeTest v3, ALTCHA, CaptchaFox, Capy Puzzle, Friendly Captcha и тысячи типов капчи-картинок.
Нужны ли мне прокси, если я использую сервис распознавания капчи?
Обычно да, поскольку они решают разные задачи. Прокси и разумный темп запросов снижают частоту проверок; CapSkip справляется с теми капчами, что всё же появляются. Вместе они работают отлично, и поскольку CapSkip безлимитный, он не бьёт вас по карману, когда пул прокси вызывает больше проверок, чем ожидалось.
Какие прокси для капчи работают с CapSkip?
HTTP, HTTPS, SOCKS5 и SOCKS5h; прокси передаётся с каждым решением reCAPTCHA, Turnstile или другой капчи с токеном, а капчам-картинкам он не нужен никогда. Используйте тот же пул, через который ваш краулер загружает страницы, чтобы токен решался с IP того же типа, с которого он будет отправлен.
Какие антибот-проверки CapSkip не решает?
hCaptcha, GeeTest v4, FunCaptcha/Arkose и AWS WAF не поддерживаются. Если целевой сайт использует одну из этих защит, снизьте скорость, смените прокси или исключите этот URL из краулинга, а не отправляйте его на распознавание.
Законно ли использовать сервис распознавания капчи для парсинга?
CapSkip предназначен для автоматизации ваших собственных рабочих процессов, тестирования и сбора данных; вы несёте ответственность за соблюдение условий сайтов, с которыми взаимодействуете, и применимого законодательства. Разрешён ли конкретный краулинг, решаете вы, а не CapSkip.

Готовы поддерживать работу ваших парсеров?

Скачайте CapSkip, активируйте лицензию и решайте капчи без ограничений из браузера или из кода. Одна фиксированная цена, без оплаты за каждое решение.