Yandex SmartCaptcha in C#: mit YandexSmartAsync lösen

Um Yandex SmartCaptcha in C# ohne einen eigenen Browser zu lösen, rufen Sie die Seite mit einem HttpClient ab, der Cookies behält, lesen Sie den sitekey aus dem Attribut data-sitekey des Widgets und übergeben Sie ihn an YandexSmartAsync aus dem CapSkip-NuGet-Paket. Der zurückgegebene Token kommt in das Formularfeld smart-token und wird mit demselben User-Agent gesendet, mit dem die Lösung angefordert wurde (mein Mock erzwingt das, und für keine echte Website ist es belegt). Die Lösung geschieht auf Ihrem eigenen Windows-PC im CapSkip Yandex SmartCaptcha-Löser, ohne Gebühr pro Token.
Was Sie brauchen
- CapSkip, auf einem Windows-PC installiert, in einer Version, die Yandex SmartCaptcha aufführt (das Changelog nennt es ab CapSkip 5.0.0). Installieren Sie es anhand der Einrichtungsanleitung. Ich konnte die Version einer laufenden App nicht auslesen, daher stammt jedes Ergebnis unten von einem Mock.
- Ein .NET SDK (ich habe 10.0.100 verwendet, ein Rechner nur mit dem SDK 8 ist unerprobt) und das CapSkip-NuGet-Paket 1.8.0, die erste Version mit YandexSmartAsync. Seine nuspec nennt ein Ziel, netstandard2.0, und eine Abhängigkeit, System.Text.Json 8.0.5. Mein Code lief auf net8.0 (Runtime 8.0.27) und net10.0 (Runtime 10.0.0), beide mit dem SDK 10.0.100 gebaut, und nichts Älteres wurde ausprobiert.
- Eine Registrierungs-, Anmelde- oder Kontaktseite mit einem SmartCaptcha-Widget, die Sie automatisieren dürfen.
- Eine Adresse für CapSkip. Local mode hält den Löser auf 127.0.0.1, nur vom selben PC aus erreichbar. Server mode lauscht zusätzlich auf Ihrem Netzwerk oder Ihrer öffentlichen IP, für Aufrufe von anderen Rechnern. Die Verbindungseinstellungen legen fest, welcher von beiden gilt.
Alles unten lief gegen einen Mock. Er spielt in.php, res.php und eine Registrierungsseite, und die Formularregeln stammen von mir. Es wurde keine Yandex-Seite kontaktiert und kein echter Token erzeugt, daher sage ich nichts darüber, wie ein echter Token aussieht oder wie lange eine echte Lösung dauert.
Schritt 1: das Projekt anlegen und die Seite lesen
dotnet new console -o yandex-demo cd yandex-demo dotnet add package CapSkip --version 1.8.0
Mit dem SDK 10 zielt das neue Projekt auf net10.0. Um für net8.0 zu bauen, öffnen Sie yandex-demo.csproj und ändern Sie die Zeile TargetFramework auf net8.0. Löschen Sie alles in Program.cs und fügen Sie dann die drei C#-Blöcke unten der Reihe nach ein. Nur der erste hat using-Zeilen.
Yandex beschreibt das Widget als leeres div mit der Klasse smart-captcha und dem Client-Schlüssel in data-sitekey. Eine Seite, die das Widget aus einem eigenen Skript zeichnet, übergibt denselben Schlüssel an smartCaptcha.render, wie der Yandex-Abschnitt der CapSkip-API-Dokumentation erklärt. Sobald ein Besucher besteht, fügt das Widget ein verstecktes Eingabefeld namens smart-token in den Container ein, das heruntergeladene HTML hat also kein solches Feld und der Code fügt es selbst hinzu (Quelle: Yandex, Schnellstart).
Ein regulärer Ausdruck für den Schlüssel muss mit der Attributreihenfolge, dem Anführungszeichenstil und ähnlich aussehenden Elementen zurechtkommen, daher betrachtet der erste Block nur Tags, deren Attribut class smart-captcha enthält. Eine Stylesheet- oder Skriptdatei mit diesem Namen in der Adresse oder eine id mit demselben Namen zählt nicht. Er probiert jedes solche Tag auf data-sitekey durch und fällt dann auf einen Aufruf von smartCaptcha.render zurück. Gegen meinen Mock las er auf beiden Runtimes in acht Seitenformen den richtigen Schlüssel: data-sitekey nach der Klasse; vor der Klasse in einfachen Anführungszeichen; ohne Anführungszeichen; ein Stylesheet und ein Skript mit diesem Namen über dem Widget; ein Schlüssel nur in einem render-Aufruf; ein id-div neben einem render-Aufruf; ein id-div, das das echte Widget umschließt; und ein Suchformular über dem echten. Ein Schlüssel in einer Variablen, wie in sitekey: k, wird nicht unterstützt und löste die Exception wegen fehlendem sitekey aus.
Der Block arbeitet dann innerhalb des Formulars, das das Widget enthält, damit ein weiter oben liegendes Suchformular nicht für das echte gehalten wird. Er kopiert die versteckten Eingabefelder dieses Formulars in ein Dictionary, so reist ein CSRF-Feld zum Formular-POST, und liest dessen action. Das SDK prüft den Schlüssel selbst: 16 bis 120 Buchstaben, Ziffern, Unterstriche oder Bindestriche, meist beginnend mit ysc1_.
using System.Net;
using System.Text.RegularExpressions;
using CapSkip;
// Implicit usings import System, which has a TimeoutException too (a bare one fails with CS0104).
using SolverTimeout = CapSkip.TimeoutException;
// What the page gives you: the sitekey, the form that holds the widget, and its hidden fields.
record PageForm(string Sitekey, string Action, Dictionary<string, string> Hidden);
static class Page
{
// A tag whose class attribute lists smart-captcha, in any attribute order. A stylesheet,
// a script src or an id of the same name does not count.
static readonly Regex Widget = new(@"<[^>]*\bclass\s*=\s*(?<q>[""'])[^""']*(?<![\w-])smart-captcha(?![\w-])[^""']*\k<q>[^>]*>", RegexOptions.IgnoreCase);
static readonly Regex DataKey = new(@"data-sitekey\s*=\s*(?<q>[""']?)(?<k>[\w-]+)\k<q>", RegexOptions.IgnoreCase);
// Pages that draw the widget from script pass a quoted key to smartCaptcha.render.
static readonly Regex Render = new(@"smartCaptcha\.render\([^;]*?sitekey\s*:\s*(?<q>[""'])(?<k>[^""']+)\k<q>", RegexOptions.Singleline);
static readonly Regex Input = new(@"<input\b[^>]*>", RegexOptions.IgnoreCase);
static readonly Regex Attr = new(@"(?<n>[\w-]+)\s*=\s*(?<q>[""'])(?<v>[^""']*)\k<q>");
static readonly Regex FormAction = new(@"<form\b[^>]*\baction\s*=\s*(?<q>[""'])(?<a>[^""']*)\k<q>", RegexOptions.IgnoreCase);
public static PageForm Read(string html)
{
string? sitekey = null;
var at = 0;
foreach (Match tag in Widget.Matches(html))
{
var k = DataKey.Match(tag.Value);
if (k.Success) { sitekey = k.Groups["k"].Value; at = tag.Index; break; }
}
if (sitekey is null)
{
var r = Render.Match(html);
if (r.Success) { sitekey = r.Groups["k"].Value; at = r.Index; }
}
if (sitekey is null) throw new InvalidDataException("no SmartCaptcha sitekey on the page");
// Work inside the form that holds the widget, so a search box above it is ignored.
var start = Math.Max(0, html.LastIndexOf("<form", at, StringComparison.OrdinalIgnoreCase));
var end = html.IndexOf("</form", at, StringComparison.OrdinalIgnoreCase);
var form = html.Substring(start, (end < 0 ? html.Length : end) - start);
var hidden = new Dictionary<string, string>();
foreach (Match input in Input.Matches(form))
{
var a = new Dictionary<string, string>();
foreach (Match m in Attr.Matches(input.Value))
a[m.Groups["n"].Value.ToLowerInvariant()] = WebUtility.HtmlDecode(m.Groups["v"].Value);
if (a.GetValueOrDefault("type") == "hidden" && a.TryGetValue("name", out var name))
hidden[name] = a.GetValueOrDefault("value", "");
}
return new PageForm(sitekey, FormAction.Match(form).Groups["a"].Value, hidden);
}
}Schritt 2: mit YandexSmartAsync lösen und das Formular senden
Der zweite Block erledigt eine ganze Übermittlung: Seitenabruf, Lösung und Formular-POST. Drei Details sind wichtig.
Erstens besitzt der HttpClient einen CookieContainer, daher fährt das Session-Cookie vom Seitenabruf mit dem Formular-POST mit, und das von der Seite kopierte CSRF-Feld passt dazu. Zweitens dient ein einziger User-Agent-String für den Seitenabruf, die Option userAgent und den Formular-POST. Die Option sagt CapSkip, welchen User-Agent es Yandex präsentieren soll (SDK-Dokumentation). In meinem Mock vergleicht die Website den User-Agent des Formular-POST mit dem, den die Aufgabe trug: Eine Aufgabe, die mit Other/1.0 gesendet wurde, bekam bei allen drei Versuchen 403, und eine Aufgabe ohne die Option trug keinen und ging durch. Diese Regel stammt von mir, daher kann der Mock nicht zeigen, dass Yandex oder irgendeine echte Website darauf achtet. Einen einzigen String zu behalten kostet nur eine Konstante. Wenn Sie die Option weglassen, wird laut CapSkip-API-Dokumentation ein aktueller Chrome-User-Agent präsentiert, der nicht dem String gleicht, den HttpClient sendet.
Drittens kommt die Lösung nach dem Seitenabruf und direkt vor dem POST, jedes Mal mit einer frischen Seite. Yandex sagt, ein Token bleibt fünf Minuten gültig und kann nur einmal geprüft werden (Dokumentation zur Validierung), ein wiederverwendeter oder gehorteter Token scheitert also. Ich kann nicht sagen, ob ein abgelehnter Formular-POST den Token verbraucht, daher ruft die Schleife im nächsten Schritt nach jeder Ablehnung eine neue Seite ab und löst erneut. Die Zeile mit Referer ist da, weil manche Frameworks einen Formular-POST ablehnen, der weder Referer noch Origin hat, und HttpClient von sich aus keines von beiden sendet. Mit gelöschter Zeile lehnte mein Mock alle drei Versuche ab, weil ich ihn so geschrieben habe.
static class Flow
{
// One string, used for the page fetch, the solve and the form post.
public const string UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/146.0.0.0 Safari/537.36";
// Local mode. In Server mode, use your server's address instead. If API Key
// Validation is on in CapSkip, also pass apiKey: "YOUR_KEY" here.
public static readonly CapSkipClient Solver = new(host: "127.0.0.1", port: 8080);
public static HttpClient NewHttp()
{
var http = new HttpClient(new HttpClientHandler { CookieContainer = new CookieContainer(), UseCookies = true });
http.DefaultRequestHeaders.TryAddWithoutValidation("User-Agent", UserAgent);
return http;
}
// One whole submission: fresh page, fresh token, form post. Never reuse a token.
public static async Task<(int Status, string Text)> Submit(HttpClient http, string pageUrl, string email, CancellationToken ct)
{
var form = Page.Read(await http.GetStringAsync(pageUrl, ct));
// Solve after the page is in hand and right before the post: a token lives 5 minutes.
var solved = await Solver.YandexSmartAsync(form.Sitekey, pageUrl,
new Dictionary<string, object?> { ["userAgent"] = UserAgent }, ct);
var fields = new Dictionary<string, string>(form.Hidden) { ["email"] = email, ["smart-token"] = solved.Token! };
using var request = new HttpRequestMessage(HttpMethod.Post, new Uri(new Uri(pageUrl), form.Action))
{
Content = new FormUrlEncodedContent(fields),
};
request.Headers.Referrer = new Uri(pageUrl); // some frameworks refuse a post without one
using var response = await http.SendAsync(request, ct);
var body = await response.Content.ReadAsStringAsync(ct);
return ((int)response.StatusCode, Regex.Replace(body, "<[^>]+>", " ").Trim());
}
}Das Ergebnis trägt den Token doppelt, als Token und als Code, und die beiden waren in meiner Probe derselbe String. Verwenden Sie Token. Code ist dafür da, dass Code, der für einen anderen 2Captcha-Client geschrieben wurde und für jeden Captcha-Typ ein einziges Feld liest, weiter funktioniert. Das sind die Optionen, die YandexSmartAsync annimmt, wie sie Quellcode und Dokumentation von 1.8.0 aufführen.
| Option | Was er tut | Im Mock gesehen |
|---|---|---|
| userAgent | Der User-Agent, den CapSkip Yandex präsentiert. Die Namen "useragent" und "user_agent" funktionieren ebenfalls | Kam als "useragent" an. Ein leerer String wird nicht gesendet |
| proxy | Ein Proxy-Objekt, eine einfache Adresse oder ein Paar aus type und uri | Kam als proxy plus proxytype HTTP an |
| "timeout" und "polling_interval" | Sekunden, die weiter abgefragt wird, und die längste Pause zwischen den Abfragen, wie bei den anderen Methoden | Ein timeout von 5 bei einem Standard-Client beendete eine nie bereite Aufgabe nach 7,85 s (net8.0) und 7,86 s (net10.0). Ein polling_interval von 1 ergab einen Token nach 3,87 s auf beiden |
| pageurl | Ersetzt das Argument url | Ein null-Wert für url mit gesetztem pageurl wurde gesendet |
Alles andere, außer den eigenen Optionen timeout und polling_interval des SDK, wird abgelehnt. Die Übergabe von action, das MTCaptcha annimmt, oder invisible, das hCaptcha annimmt, löste vor jeder Anfrage eine ValidationException aus. Wenn die Website die Besucheradresse liest und an Yandex sendet, sagt die CapSkip-Yandex-Seite, man solle für die Lösung und den Formular-POST einen Proxy verwenden. Die Proxy-Anleitung enthält die Einrichtungsschritte.
Schritt 3: Yandex SmartCaptcha in C# von Anfang bis Ende ausführen
Der letzte Block enthält Main. Setzen Sie PageUrl auf Ihre eigene Registrierungsseite, denn ein erster Lauf gegen example.com gibt eine 404-Meldung vom fehlgeschlagenen Seitenabruf aus und erreicht das Widget nie. Starten Sie ihn mit dotnet run. Bis zu drei Übermittlungen laufen unter einem gemeinsamen Abbruchbudget, und eine Formularantwort unter 400 beendet den Lauf. Ein CapSkip-Fehler beendet ihn ebenfalls, da das erneute Senden derselben Aufgabe die Antwort nicht ändern kann.
Das Budget beträgt zehn Minuten, weil jede Lösung bis zu recaptchaTimeout warten kann, standardmäßig 300 Sekunden, sodass zwei hängende Versuche es schon ganz aufbrauchen (Rechnung aus den Standardwerten, kein Lauf). Senken Sie das Budget, wenn Ihre Website nicht so lange warten kann.
static class Program
{
const string PageUrl = "https://example.com/signup"; // the page that shows the SmartCaptcha widget
static async Task<int> Main()
{
// Solves may take a while, so one budget covers every attempt below.
using var budget = new CancellationTokenSource(TimeSpan.FromMinutes(10));
using var http = Flow.NewHttp();
try
{
for (var attempt = 1; attempt <= 3; attempt++)
{
var (status, text) = await Flow.Submit(http, PageUrl, "[email protected]", budget.Token);
Console.WriteLine($"attempt {attempt}: {status} {text}");
if (status < 400) return 0;
}
Console.WriteLine("the site refused 3 submissions");
}
catch (Exception) when (budget.IsCancellationRequested) { Console.WriteLine("the 10 minute budget ran out"); }
catch (ValidationException ex) { Console.WriteLine($"CapSkip refused the call: {ex.Message}"); }
catch (ApiException ex) { Console.WriteLine($"CapSkip answered {ex.Message}"); }
catch (SolverTimeout ex) { Console.WriteLine($"no token in time: {ex.Message}"); }
catch (CapSkipError ex) { Console.WriteLine($"{ex.GetType().Name}: {ex.Message}"); }
// HttpClient's own timeout is a TaskCanceledException wrapping System.TimeoutException.
catch (TaskCanceledException ex) when (ex.InnerException is System.TimeoutException) { Console.WriteLine("the site answered too slowly"); }
catch (HttpRequestException ex) { Console.WriteLine($"the site did not answer: {ex.Message}"); }
catch (InvalidDataException ex) { Console.WriteLine(ex.Message); }
return 1;
}
}Timeouts und Abbruch
Yandex-Lösungen nutzen recaptchaTimeout, standardmäßig 300 Sekunden, und nicht defaultTimeout, weil CapSkip das Widget in einem echten Browser besteht (SDK-Quellcode). Das habe ich gegen den Mock geprüft. Mit defaultTimeout auf 3 und einer Aufgabe, die erst bei der sechsten Abfrage bereit wurde, gab der Aufruf auf beiden Runtimes nach 7,86 Sekunden einen Token zurück, das kurze Timeout wurde also ignoriert. Mit recaptchaTimeout auf 5 und einer Aufgabe, die nie bereit wurde, kam die CapSkip-TimeoutException in acht Läufen auf den beiden Runtimes nach 7,83 bis 7,87 Sekunden, nicht nach 5. Der Mock protokollierte Abfragen bei etwa 0; 0,26; 0,78; 1,78 und 3,8 Sekunden. Das SDK schlief dann 4 Sekunden, fand die Frist überschritten und warf ohne sechste Abfrage, weil es die Uhr erst nach jedem Schlafen prüft.
Die beiden TimeoutException-Typen treffen hier aufeinander. Implicit Usings importieren System, das eine eigene TimeoutException hat, daher schlägt der Build bei einem einfachen catch neben using CapSkip mit Fehler CS0104 fehl, wie es auf beiden Runtimes geschah. Die using-Zeile am Anfang des ersten Blocks benennt die SDK-Klasse in SolverTimeout um. HttpClient bringt eine dritte Quelle mit: Sein eigenes Timeout ist kein CapSkipError. Ein Timeout von einer Sekunde gegen eine Mock-Seite, die drei Sekunden schläft, zeigte sich als TaskCanceledException, deren InnerException System.TimeoutException war, nach 1,02 Sekunden auf beiden Runtimes.
Das CancellationToken erreicht sowohl den Seitenabruf als auch die CapSkip-Aufrufe. Im Mock lief ein Budget von 2 Sekunden an zwei Stellen ab. Solange der Mock in.php offen hielt, war die Exception eine NetworkException, die eine TaskCanceledException umschließt. Während das SDK abfragte, war es eine einfache TaskCanceledException. Beide erschienen nach etwa 2,0 Sekunden. Main testet das Budget selbst, daher deckt ein Filter beide Formen ab.
Es folgen Ergebnisse aus dem Mock. Sie sagen nichts über eine echte Website und waren auf net8.0 und net10.0 identisch.
| Mock-Einstellung | Was das Programm tat |
|---|---|
| Standardwerte, eine der drei Seitenformen | 200 Account created, eine Aufgabe |
| Die Website antwortet auf den ersten Formular-POST mit 403 | Zweiter Versuch mit neuer Seite und neuer Aufgabe, dann 200 |
| Die Website lehnt jeden Formular-POST ab | Drei Versuche, drei Aufgaben, Exit-Code 1 |
| ERROR_RECAPTCHA_INVALID_DOMAIN oder ERROR_RECAPTCHA_INVALID_SITEKEY | Die Antwort ausgegeben, Exit-Code 1, eine Aufgabe, keine Wiederholung |
| Seite ohne Widget | Eine Meldung, Exit-Code 1, keine Aufgabe gesendet |
| Nichts lauscht an der CapSkip-Adresse | NetworkException, Exit-Code 1 |
Häufige Fehler
| Was Sie sehen | Ursache | Beheben |
|---|---|---|
| ValidationException | Das SDK hat den Aufruf abgelehnt, bevor es ihn sendete: ein sitekey außerhalb der 16 bis 120 erlaubten Zeichen, eine Seitenadresse, die keine absolute http- oder https-URL ist, ein nicht unterstützter Proxy-Typ oder eine Option, die die Yandex-Methode nicht hat. Elf solche Aufrufe wurden abgelehnt, und keiner erreichte den Mock | Korrigieren Sie das Argument. Eine Wiederholung hilft nicht |
| ERROR_RECAPTCHA_INVALID_SITEKEY oder ERROR_RECAPTCHA_INVALID_DOMAIN | Yandex kennt den Schlüssel nicht, oder er ist auf dieser Domain nicht erlaubt (API-Dokumentation; mein Mock löst beides bei der ersten Abfrage aus) | Lesen Sie den Schlüssel und die Adresse erneut von der Seite. Nicht wiederholen |
| ERROR_CAPTCHA_UNSOLVABLE | Die Challenge wurde nicht bestanden (in der API-Dokumentation aufgeführt; ich konnte sie nur im Mock provozieren) | Starten Sie eine neue Übermittlung mit einer frischen Seite |
| ERROR_PROXY_CONNECT_REFUSED | Die Aufgabe konnte Yandex über ihren Proxy nicht erreichen (SDK-Dokumentation) | Prüfen Sie die Proxy-Adresse |
| CapSkip TimeoutException | Kein Token innerhalb von recaptchaTimeout, bemerkt bei der nächsten Abfrage | Erhöhen Sie recaptchaTimeout oder sehen Sie in CapSkip nach |
| Die Website lehnt das Formular ab | Ein abgelaufener oder bereits geprüfter Token, laut Yandex-Dokumentation. In meinem Mock auch ein anderer User-Agent oder kein Referer | In einem Durchgang erneut abrufen, lösen und per POST senden |
Server-Modus: CapSkip auf einem anderen PC
CapSkip kann auch als Server auf einem Windows-Rechner laufen, den Sie kontrollieren, dieses Programm kann also auf einem anderen PC oder Host leben und den Löser über die API aufrufen. Setzen Sie die Adresse dieses Rechners anstelle von 127.0.0.1 in die Zeile mit CapSkipClient ein und stellen Sie den Modus in den Verbindungseinstellungen.
Der Server mode lässt den CapSkip-Port von jeder Adresse aus erreichbar. Schränken Sie das mit einer Windows-Firewall-Blockregel ein, die jeden Rechner abdeckt, den Sie nicht erwarten, und schalten Sie auch API Key Validation ein, indem Sie apiKey in der Zeile mit CapSkipClient übergeben.
FAQ
Braucht das Lösen von Yandex SmartCaptcha in C# einen Browser?
Nicht für die Lösung: CapSkip steuert das Widget selbst. Sie brauchen einen nur, wenn die Seite ihr Formular per Skript aufbaut, sodass ein einfacher Download kein Formular zum Senden zeigt. Verwenden Sie dann ein Browser-Werkzeug und lesen Sie den sitekey aus der geladenen Seite.
Wer prüft den Token?
Der eigene Server der Website. Er sendet den Token und seinen geheimen Server-Schlüssel an Yandex, und Yandex antwortet mit einem Status. Sie halten diesen Schlüssel nie. Prüfen Sie den Token nicht selbst vor dem Formular-POST, denn ein Token kann nur einmal geprüft werden.
Wie lange dauert eine Lösung?
Die CapSkip-Yandex-Seite nennt typischerweise 15 bis 30 Sekunden. Ich konnte es nicht messen, da keine echte Lösung lief. Planen Sie es mit recaptchaTimeout und einem CancellationToken ein.
Yandex SmartCaptcha in C# besteht aus einem Seitenabruf, einem YandexSmartAsync-Aufruf und einem Formular-POST, der denselben User-Agent wiederverwendet. Da CapSkip ein pauschal lizenzierter lokaler Captcha-Löser ist, der auf Ihrem eigenen PC läuft, kostet ein abgelehntes Formular ein paar Sekunden und keine Gebühr. Weitere Captcha-Typen in .NET behandelt die C#-Captcha-Solver-Seite, und das rohe Anfrageformat steht in der API-Dokumentation.
