Yandex SmartCaptcha на C#: решение через YandexSmartAsync

Чтобы решить Yandex SmartCaptcha на C# без собственного браузера, загрузите страницу через HttpClient, который сохраняет cookie, прочитайте sitekey из атрибута data-sitekey виджета и передайте его в YandexSmartAsync из пакета CapSkip NuGet. Полученный токен идёт в поле формы smart-token и отправляется с тем же User-Agent, с которым выполнялось решение (моя имитация это проверяет, а для настоящих сайтов это не показано). Решением занимается сервис CapSkip для Yandex SmartCaptcha на вашем собственном ПК с Windows, без платы за токен.
Что понадобится
- CapSkip, установленный на ПК с Windows, в выпуске, где указан Yandex SmartCaptcha (в журнале изменений он есть с CapSkip 5.0.0). Установить его поможет руководство по настройке. Версию запущенного приложения я прочитать не смог, поэтому все результаты ниже получены на имитации.
- Нужен .NET SDK (я использовал 10.0.100, а машина только с SDK 8 не проверялась) и пакет CapSkip NuGet 1.8.0, первая версия с YandexSmartAsync. В его nuspec указана одна целевая платформа, netstandard2.0, и одна зависимость, System.Text.Json 8.0.5. Мой код работал на net8.0 (среда выполнения 8.0.27) и net10.0 (среда выполнения 10.0.0), обе сборки сделаны с SDK 10.0.100, а более старые версии не пробовались.
- Страница регистрации, входа или контактов с виджетом SmartCaptcha, которую вам разрешено автоматизировать.
- Адрес для CapSkip. Local mode оставляет решатель на 127.0.0.1, доступном только с того же ПК. Server mode слушает ещё и вашу сеть или публичный IP, для вызовов с других машин. Настройки подключения позволяют выбрать один из режимов.
Всё ниже выполнялось на имитации. Она изображает in.php, res.php и сайт регистрации, а правила форм мои. К страницам Yandex я не обращался и настоящий токен не получал, поэтому ничего не говорю ни о том, как выглядит настоящий токен, ни о том, сколько длится настоящее решение.
Шаг 1: создайте проект и прочитайте страницу
dotnet new console -o yandex-demo cd yandex-demo dotnet add package CapSkip --version 1.8.0
С SDK 10 новый проект нацелен на net10.0. Чтобы собрать для net8.0, откройте yandex-demo.csproj и замените строку TargetFramework на net8.0. Удалите всё в Program.cs, затем вставьте по порядку три блока C# ниже. Строки using есть только в первом.
Yandex описывает виджет как пустой div с классом smart-captcha и клиентским ключом в data-sitekey. Страница, которая рисует виджет собственным скриптом, передаёт тот же ключ в smartCaptcha.render. Документация по API CapSkip объясняет это в разделе Yandex. Когда посетитель проходит проверку, виджет вставляет в контейнер скрытое поле smart-token, поэтому в скачанном HTML такого поля нет, и код добавляет его сам (см. краткое руководство Yandex).
Регулярное выражение для ключа должно справляться с порядком атрибутов, стилем кавычек и похожими элементами, поэтому первый блок смотрит только на теги, в атрибуте class которых указан smart-captcha. Файл стилей или скрипта с таким именем в адресе или id с тем же именем не считаются. Для каждого такого тега он проверяет data-sitekey, а затем переходит к вызову smartCaptcha.render. На моей имитации он прочитал правильный ключ в восьми вариантах страницы на обеих средах выполнения: data-sitekey после class; перед class в одинарных кавычках; без кавычек; файл стилей и скрипт с таким именем над виджетом; ключ только в вызове render; div с id рядом с вызовом render; div с id, оборачивающий настоящий виджет; и форма поиска над настоящей. Ключ в переменной, как в sitekey: k, не поддерживается и вызвал исключение об отсутствии sitekey.
Затем блок работает внутри формы, которая содержит виджет, поэтому форма поиска выше на странице не принимается за настоящую. Он копирует скрытые поля этой формы в словарь, так CSRF-поле попадает в отправку формы, и читает её action. SDK проверяет сам ключ: от 16 до 120 букв, цифр, подчёркиваний или дефисов, обычно он начинается с ysc1_.
using System.Net;
using System.Text.RegularExpressions;
using CapSkip;
// Implicit usings import System, which has a TimeoutException too (a bare one fails with CS0104).
using SolverTimeout = CapSkip.TimeoutException;
// What the page gives you: the sitekey, the form that holds the widget, and its hidden fields.
record PageForm(string Sitekey, string Action, Dictionary<string, string> Hidden);
static class Page
{
// A tag whose class attribute lists smart-captcha, in any attribute order. A stylesheet,
// a script src or an id of the same name does not count.
static readonly Regex Widget = new(@"<[^>]*\bclass\s*=\s*(?<q>[""'])[^""']*(?<![\w-])smart-captcha(?![\w-])[^""']*\k<q>[^>]*>", RegexOptions.IgnoreCase);
static readonly Regex DataKey = new(@"data-sitekey\s*=\s*(?<q>[""']?)(?<k>[\w-]+)\k<q>", RegexOptions.IgnoreCase);
// Pages that draw the widget from script pass a quoted key to smartCaptcha.render.
static readonly Regex Render = new(@"smartCaptcha\.render\([^;]*?sitekey\s*:\s*(?<q>[""'])(?<k>[^""']+)\k<q>", RegexOptions.Singleline);
static readonly Regex Input = new(@"<input\b[^>]*>", RegexOptions.IgnoreCase);
static readonly Regex Attr = new(@"(?<n>[\w-]+)\s*=\s*(?<q>[""'])(?<v>[^""']*)\k<q>");
static readonly Regex FormAction = new(@"<form\b[^>]*\baction\s*=\s*(?<q>[""'])(?<a>[^""']*)\k<q>", RegexOptions.IgnoreCase);
public static PageForm Read(string html)
{
string? sitekey = null;
var at = 0;
foreach (Match tag in Widget.Matches(html))
{
var k = DataKey.Match(tag.Value);
if (k.Success) { sitekey = k.Groups["k"].Value; at = tag.Index; break; }
}
if (sitekey is null)
{
var r = Render.Match(html);
if (r.Success) { sitekey = r.Groups["k"].Value; at = r.Index; }
}
if (sitekey is null) throw new InvalidDataException("no SmartCaptcha sitekey on the page");
// Work inside the form that holds the widget, so a search box above it is ignored.
var start = Math.Max(0, html.LastIndexOf("<form", at, StringComparison.OrdinalIgnoreCase));
var end = html.IndexOf("</form", at, StringComparison.OrdinalIgnoreCase);
var form = html.Substring(start, (end < 0 ? html.Length : end) - start);
var hidden = new Dictionary<string, string>();
foreach (Match input in Input.Matches(form))
{
var a = new Dictionary<string, string>();
foreach (Match m in Attr.Matches(input.Value))
a[m.Groups["n"].Value.ToLowerInvariant()] = WebUtility.HtmlDecode(m.Groups["v"].Value);
if (a.GetValueOrDefault("type") == "hidden" && a.TryGetValue("name", out var name))
hidden[name] = a.GetValueOrDefault("value", "");
}
return new PageForm(sitekey, FormAction.Match(form).Groups["a"].Value, hidden);
}
}Шаг 2: решите через YandexSmartAsync и отправьте форму
Второй блок выполняет одну целую отправку: загрузку страницы, решение и отправку формы. Важны три детали.
Во-первых, у HttpClient есть собственный CookieContainer, поэтому cookie сессии из загрузки страницы уходит вместе с отправкой формы, а скопированное со страницы CSRF-поле соответствует ему. Во-вторых, одна строка User-Agent используется и для загрузки страницы, и для параметра userAgent, и для отправки формы. Параметр сообщает CapSkip, какой User-Agent показывать Yandex (документация SDK). В моей имитации сайт сравнивает User-Agent отправки формы с тем, что был в задании: задание с Other/1.0 получило 403 во всех трёх попытках, а задание без параметра не несло ничего и прошло. Это правило моё, поэтому имитация не может показать, что Yandex или любой настоящий сайт на это смотрит. Сохранить одну строку стоит одной константы. Если параметр опустить, в документации API CapSkip сказано, что показывается актуальный User-Agent Chrome, который не совпадёт со строкой, отправляемой HttpClient.
В-третьих, решение идёт после загрузки страницы и прямо перед отправкой, и каждый раз со свежей страницей. Yandex сообщает, что токен действует пять минут и проверяется только один раз (документация по проверке), поэтому повторно использованный или накопленный токен не пройдёт. Я не могу сказать, расходуется ли токен при отклонённой отправке формы, поэтому цикл на следующем шаге после каждого отказа загружает новую страницу и решает заново. Строка Referer нужна потому, что некоторые фреймворки отклоняют отправку формы, где нет ни Referer, ни Origin, а HttpClient сам не отправляет ни того, ни другого. Когда я удалил строку, моя имитация отклонила все три попытки, потому что я так её написал.
static class Flow
{
// One string, used for the page fetch, the solve and the form post.
public const string UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/146.0.0.0 Safari/537.36";
// Local mode. In Server mode, use your server's address instead. If API Key
// Validation is on in CapSkip, also pass apiKey: "YOUR_KEY" here.
public static readonly CapSkipClient Solver = new(host: "127.0.0.1", port: 8080);
public static HttpClient NewHttp()
{
var http = new HttpClient(new HttpClientHandler { CookieContainer = new CookieContainer(), UseCookies = true });
http.DefaultRequestHeaders.TryAddWithoutValidation("User-Agent", UserAgent);
return http;
}
// One whole submission: fresh page, fresh token, form post. Never reuse a token.
public static async Task<(int Status, string Text)> Submit(HttpClient http, string pageUrl, string email, CancellationToken ct)
{
var form = Page.Read(await http.GetStringAsync(pageUrl, ct));
// Solve after the page is in hand and right before the post: a token lives 5 minutes.
var solved = await Solver.YandexSmartAsync(form.Sitekey, pageUrl,
new Dictionary<string, object?> { ["userAgent"] = UserAgent }, ct);
var fields = new Dictionary<string, string>(form.Hidden) { ["email"] = email, ["smart-token"] = solved.Token! };
using var request = new HttpRequestMessage(HttpMethod.Post, new Uri(new Uri(pageUrl), form.Action))
{
Content = new FormUrlEncodedContent(fields),
};
request.Headers.Referrer = new Uri(pageUrl); // some frameworks refuse a post without one
using var response = await http.SendAsync(request, ct);
var body = await response.Content.ReadAsStringAsync(ct);
return ((int)response.StatusCode, Regex.Replace(body, "<[^>]+>", " ").Trim());
}
}Результат содержит токен дважды, как Token и как Code, и в моей пробе это была одна и та же строка. Используйте Token. Code нужен, чтобы код, написанный под другой клиент 2Captcha, который читает одно поле для любого типа CAPTCHA, продолжал работать. Вот параметры, которые принимает YandexSmartAsync, по исходному коду 1.8.0 и документации.
| Параметр | Что делает | Воспроизведено на имитации |
|---|---|---|
| userAgent | User-Agent, который CapSkip показывает Yandex. Имена "useragent" и "user_agent" тоже работают | Пришло как "useragent". Пустая строка не отправляется |
| proxy | Объект Proxy, простой адрес или пара type и uri | Пришло как proxy плюс proxytype HTTP |
| "timeout" и "polling_interval" | Секунды опроса и самая длинная пауза между опросами, как у других методов | Timeout 5 на клиенте по умолчанию завершил никогда не готовое задание через 7.85 с (net8.0) и 7.86 с (net10.0). Интервал опроса 1 дал токен через 3.87 с на обеих |
| pageurl | Заменяет аргумент url | Значение url null при заданном pageurl было отправлено |
Всё остальное, кроме собственных timeout и polling_interval у SDK, отклоняется. Передача action, который принимает MTCaptcha, или invisible, который принимает hCaptcha, вызвала ValidationException до любого запроса. Если сайт читает адрес посетителя и отправляет его в Yandex, на странице CapSkip для Yandex сказано использовать один прокси для решения и для отправки формы. В руководстве по прокси описаны шаги настройки.
Шаг 3: запустите Yandex SmartCaptcha на C# от начала до конца
В последнем блоке находится Main. Укажите в PageUrl вашу собственную страницу регистрации, потому что первый запуск на example.com печатает сообщение 404 из-за неудачной загрузки страницы и до виджета не доходит. Запустите командой dotnet run. До трёх отправок выполняются в рамках одного бюджета отмены, а ответ формы ниже 400 завершает запуск. Ошибка CapSkip тоже завершает его, потому что повторная отправка того же задания не изменит ответ.
Бюджет составляет десять минут, потому что каждое решение может ждать до recaptchaTimeout, по умолчанию 300 секунд, так что две зависшие попытки уже расходуют его целиком (арифметика по значениям по умолчанию, а не запуск). Уменьшите бюджет, если ваш сайт не может ждать так долго.
static class Program
{
const string PageUrl = "https://example.com/signup"; // the page that shows the SmartCaptcha widget
static async Task<int> Main()
{
// Solves may take a while, so one budget covers every attempt below.
using var budget = new CancellationTokenSource(TimeSpan.FromMinutes(10));
using var http = Flow.NewHttp();
try
{
for (var attempt = 1; attempt <= 3; attempt++)
{
var (status, text) = await Flow.Submit(http, PageUrl, "[email protected]", budget.Token);
Console.WriteLine($"attempt {attempt}: {status} {text}");
if (status < 400) return 0;
}
Console.WriteLine("the site refused 3 submissions");
}
catch (Exception) when (budget.IsCancellationRequested) { Console.WriteLine("the 10 minute budget ran out"); }
catch (ValidationException ex) { Console.WriteLine($"CapSkip refused the call: {ex.Message}"); }
catch (ApiException ex) { Console.WriteLine($"CapSkip answered {ex.Message}"); }
catch (SolverTimeout ex) { Console.WriteLine($"no token in time: {ex.Message}"); }
catch (CapSkipError ex) { Console.WriteLine($"{ex.GetType().Name}: {ex.Message}"); }
// HttpClient's own timeout is a TaskCanceledException wrapping System.TimeoutException.
catch (TaskCanceledException ex) when (ex.InnerException is System.TimeoutException) { Console.WriteLine("the site answered too slowly"); }
catch (HttpRequestException ex) { Console.WriteLine($"the site did not answer: {ex.Message}"); }
catch (InvalidDataException ex) { Console.WriteLine(ex.Message); }
return 1;
}
}Тайм-ауты и отмена
Решения Yandex используют recaptchaTimeout, по умолчанию 300 секунд, а не defaultTimeout, потому что CapSkip проходит виджет в настоящем браузере (исходный код SDK). Я проверил это на имитации. При defaultTimeout 3 и задании, которое стало готовым только на шестом опросе, вызов вернул токен через 7.86 секунды на обеих средах выполнения, то есть короткий тайм-аут был проигнорирован. При recaptchaTimeout 5 и задании, которое так и не стало готовым, TimeoutException от CapSkip пришло через 7.83 до 7.87 секунды в восьми запусках на двух средах, а не через 5. Имитация зафиксировала опросы примерно на 0, 0.26, 0.78, 1.78 и 3.8 секунды. Затем SDK спал 4 секунды, обнаружил, что срок прошёл, и выбросил исключение без шестого опроса, потому что смотрит на часы только после каждой паузы.
Здесь встречаются два типа TimeoutException. Неявные using импортируют System, где есть собственный TimeoutException, поэтому голый catch рядом с using CapSkip не собирается с ошибкой CS0104, как было на обеих средах выполнения. Строка using в начале первого блока переименовывает класс SDK в SolverTimeout. HttpClient добавляет третий источник: его собственный тайм-аут не является CapSkipError. Timeout в одну секунду при странице имитации, которая спит три секунды, проявился как TaskCanceledException, у которого InnerException был System.TimeoutException, через 1.02 секунды на обеих средах выполнения.
CancellationToken доходит и до загрузки страницы, и до вызовов CapSkip. В имитации бюджет в 2 секунды заканчивался в двух местах. Пока имитация держала in.php открытым, исключением было NetworkException, оборачивающее TaskCanceledException. Пока SDK опрашивал, это был обычный TaskCanceledException. Оба появились примерно через 2.0 секунды. Main сама проверяет бюджет, поэтому один фильтр покрывает обе формы.
Ниже результаты имитации. Они ничего не говорят о настоящем сайте и были одинаковыми на net8.0 и net10.0.
| Настройка имитации | Что сделала программа |
|---|---|
| Настройки по умолчанию, любой из трёх вариантов страницы | 200 Account created, одно задание |
| Сайт отвечает 403 на первую отправку формы | Вторая попытка с новой страницей и новым заданием, затем 200 |
| Сайт отклоняет каждую отправку формы | Три попытки, три задания, код выхода 1 |
| ERROR_RECAPTCHA_INVALID_DOMAIN или ERROR_RECAPTCHA_INVALID_SITEKEY | Ответ напечатан, код выхода 1, одно задание, без повторной попытки |
| Страница без виджета | Сообщение, код выхода 1, ни одного задания не отправлено |
| По адресу CapSkip никто не слушает | NetworkException, код выхода 1 |
Частые ошибки
| Что вы видите | Причина | Исправить |
|---|---|---|
| ValidationException | SDK отклонил вызов до отправки: sitekey вне диапазона от 16 до 120 допустимых символов, адрес страницы, который не является абсолютным URL с http или https, неподдерживаемый тип прокси или параметр, которого нет у метода Yandex. Одиннадцать таких вызовов были отклонены, и ни один не дошёл до имитации | Исправьте аргумент. Повтор не поможет |
| ERROR_RECAPTCHA_INVALID_SITEKEY или ERROR_RECAPTCHA_INVALID_DOMAIN | Yandex не знает ключ или он не разрешён на этом домене (документация API; моя имитация вызывает обе ошибки при первом опросе) | Перечитайте ключ и адрес со страницы. Не повторяйте |
| ERROR_CAPTCHA_UNSOLVABLE | Проверка не пройдена (указано в документации API; вызвать это я смог только в имитации) | Начните новую отправку со свежей страницы |
| ERROR_PROXY_CONNECT_REFUSED | Задание не смогло достучаться до Yandex через свой прокси (документация SDK) | Проверьте адрес прокси |
| CapSkip TimeoutException | Токен не пришёл за recaptchaTimeout, замечено при следующем опросе | Увеличьте recaptchaTimeout или посмотрите, что происходит в CapSkip |
| Сайт отклоняет форму | Просроченный или уже проверенный токен, по документации Yandex. В моей имитации также другой User-Agent или отсутствие Referer | Загрузите страницу, решите и отправьте заново за один проход |
Режим Server: CapSkip на другом ПК
CapSkip может работать и как сервер на машине Windows, которую вы контролируете, поэтому эта программа может жить на другом ПК или хосте и вызывать решатель через API. Укажите адрес этой машины вместо 127.0.0.1 в строке CapSkipClient. Режим переключается в разделе Настройки подключения.
Server mode оставляет порт CapSkip доступным с любого адреса. Сузьте доступ блокирующим правилом Windows Firewall для всех машин, которых вы не ждёте, и включите также API Key Validation, передав apiKey в строке CapSkipClient.
FAQ
Нужен ли браузер, чтобы решить Yandex SmartCaptcha на C#?
Для самого решения нет: CapSkip управляет виджетом сам. Браузер нужен, только если страница строит форму скриптом, так что простая загрузка не показывает формы для отправки. Тогда используйте инструмент для браузера и прочитайте sitekey с загруженной страницы.
Кто проверяет токен?
Сервер самого сайта. Он отправляет токен и свой секретный серверный ключ в Yandex, и Yandex отвечает статусом. Этого ключа у вас никогда нет. Не проверяйте токен сами перед отправкой формы, потому что токен можно проверить только один раз.
Сколько времени занимает решение?
На странице CapSkip для Yandex сказано: обычно от 15 до 30 секунд. Измерить я не смог, потому что настоящее решение не запускалось. Закладывайте время через recaptchaTimeout и CancellationToken.
Yandex SmartCaptcha на C# сводится к одной загрузке страницы, одному вызову YandexSmartAsync и одной отправке формы с тем же User-Agent. По лицензии с фиксированной оплатой вы получаете локальный сервис распознавания капчи на своём ПК, поэтому отклонённая форма обходится в несколько секунд и без какой-либо платы. Другие типы CAPTCHA в .NET описаны на странице сервиса распознавания капчи для C#, а формат необработанного запроса смотрите здесь: Документация API.
