Yandex SmartCaptcha di C#: Pecahkan dengan YandexSmartAsync

yandex smartcaptcha in c# - Yandex SmartCaptcha in C#: Solve It With YandexSmartAsync

Untuk memecahkan Yandex SmartCaptcha di C# tanpa browser sendiri, ambil halaman dengan HttpClient yang menyimpan cookie, baca sitekey dari atribut data-sitekey pada widget, lalu teruskan ke YandexSmartAsync dari paket NuGet CapSkip. Token yang dikembalikan masuk ke field formulir smart-token, dikirim dengan User-Agent yang sama dengan yang dipakai saat pemecahan (mock saya memberlakukan hal ini, dan tidak ada situs sungguhan yang diperlihatkan melakukannya). Pemecahannya berlangsung di PC Windows Anda sendiri oleh pemecah Yandex SmartCaptcha CapSkip, tanpa biaya per token.

Apa yang Anda butuhkan

  • CapSkip terpasang di PC Windows, dalam rilis yang mencantumkan Yandex SmartCaptcha (changelog mencatatnya sejak CapSkip 5.0.0). Instal dengan mengikuti panduan penyiapan. Saya tidak dapat membaca versi aplikasi yang sedang berjalan, jadi semua hasil di bawah berasal dari mock.
  • Sebuah .NET SDK (saya memakai 10.0.100, dan mesin yang hanya memiliki SDK 8 belum dicoba) dan paket NuGet CapSkip 1.8.0, versi pertama dengan YandexSmartAsync. Nuspec-nya menyebut satu target, netstandard2.0, dan satu dependensi, System.Text.Json 8.0.5. Kode saya berjalan di net8.0 (runtime 8.0.27) dan net10.0 (runtime 10.0.0), keduanya dibuild dengan SDK 10.0.100, dan tidak ada yang lebih lama yang dicoba.
  • Halaman pendaftaran, login, atau kontak yang memuat widget SmartCaptcha dan yang boleh Anda otomatisasi.
  • Sebuah alamat untuk CapSkip. Mode Local menjaga solver di 127.0.0.1, hanya bisa dijangkau dari PC yang sama. Mode Server juga mendengarkan di jaringan atau IP publik Anda, untuk panggilan dari mesin lain. Bagian pengaturan koneksi membantu Anda memilih di antara keduanya.

Semua yang ada di bawah ini berjalan terhadap sebuah mock. Mock itu memerankan in.php, res.php, dan sebuah situs pendaftaran, dan aturan formulirnya adalah buatan saya. Tidak ada halaman Yandex yang dihubungi dan tidak ada token sungguhan yang dihasilkan, jadi saya tidak mengatakan apa pun tentang bentuk token sungguhan atau berapa lama pemecahan sungguhan berlangsung.

Langkah 1: buat proyek dan baca halaman

dotnet new console -o yandex-demo
cd yandex-demo
dotnet add package CapSkip --version 1.8.0

Dengan SDK 10, proyek baru menargetkan net10.0. Untuk membuild ke net8.0, buka yandex-demo.csproj dan ubah baris TargetFramework menjadi net8.0. Hapus semua isi Program.cs, lalu tempelkan tiga blok C# di bawah ini secara berurutan. Hanya blok pertama yang memiliki baris using.

Yandex menggambarkan widget sebagai div kosong dengan class smart-captcha dan kunci klien di data-sitekey. Halaman yang menggambar widget dari skripnya sendiri meneruskan kunci yang sama ke smartCaptcha.render, seperti yang dijelaskan bagian Yandex pada Dokumentasi API CapSkip tersebut. Setelah pengunjung lolos, widget menyisipkan input tersembunyi bernama smart-token ke dalam container, sehingga HTML yang Anda unduh tidak memiliki field itu dan kodenya menambahkannya sendiri (Yandex quickstart).

Regex untuk kunci harus menangani urutan atribut, gaya tanda kutip, dan elemen yang mirip, sehingga blok pertama hanya melihat tag yang atribut class-nya memuat smart-captcha. File stylesheet atau skrip dengan nama itu di alamatnya, atau id dengan nama yang sama, tidak dihitung. Blok itu mencoba setiap tag semacam itu untuk data-sitekey, lalu beralih ke pemanggilan smartCaptcha.render. Terhadap mock saya, blok ini membaca kunci yang benar pada delapan bentuk halaman di kedua runtime: data-sitekey setelah class; sebelum class dengan tanda kutip tunggal; tanpa tanda kutip; stylesheet dan skrip dengan nama itu di atas widget; kunci hanya di pemanggilan render; div id di samping pemanggilan render; div id yang membungkus widget asli; dan formulir pencarian di atas formulir yang asli. Kunci yang disimpan dalam variabel, seperti pada sitekey: k, tidak didukung dan memunculkan exception tanpa sitekey.

Blok itu kemudian bekerja di dalam formulir yang memuat widget, sehingga formulir pencarian yang lebih tinggi di halaman tidak dianggap sebagai yang asli. Blok ini menyalin input tersembunyi formulir tersebut ke sebuah dictionary, yang merupakan cara field CSRF sampai ke POST formulir, dan membaca action-nya. SDK memeriksa kunci itu sendiri: 16 sampai 120 huruf, angka, garis bawah, atau tanda hubung, biasanya diawali ysc1_.

using System.Net;
using System.Text.RegularExpressions;
using CapSkip;
// Implicit usings import System, which has a TimeoutException too (a bare one fails with CS0104).
using SolverTimeout = CapSkip.TimeoutException;

// What the page gives you: the sitekey, the form that holds the widget, and its hidden fields.
record PageForm(string Sitekey, string Action, Dictionary<string, string> Hidden);

static class Page
{
    // A tag whose class attribute lists smart-captcha, in any attribute order. A stylesheet,
    // a script src or an id of the same name does not count.
    static readonly Regex Widget = new(@"<[^>]*\bclass\s*=\s*(?<q>[""'])[^""']*(?<![\w-])smart-captcha(?![\w-])[^""']*\k<q>[^>]*>", RegexOptions.IgnoreCase);
    static readonly Regex DataKey = new(@"data-sitekey\s*=\s*(?<q>[""']?)(?<k>[\w-]+)\k<q>", RegexOptions.IgnoreCase);
    // Pages that draw the widget from script pass a quoted key to smartCaptcha.render.
    static readonly Regex Render = new(@"smartCaptcha\.render\([^;]*?sitekey\s*:\s*(?<q>[""'])(?<k>[^""']+)\k<q>", RegexOptions.Singleline);
    static readonly Regex Input = new(@"<input\b[^>]*>", RegexOptions.IgnoreCase);
    static readonly Regex Attr = new(@"(?<n>[\w-]+)\s*=\s*(?<q>[""'])(?<v>[^""']*)\k<q>");
    static readonly Regex FormAction = new(@"<form\b[^>]*\baction\s*=\s*(?<q>[""'])(?<a>[^""']*)\k<q>", RegexOptions.IgnoreCase);

    public static PageForm Read(string html)
    {
        string? sitekey = null;
        var at = 0;
        foreach (Match tag in Widget.Matches(html))
        {
            var k = DataKey.Match(tag.Value);
            if (k.Success) { sitekey = k.Groups["k"].Value; at = tag.Index; break; }
        }
        if (sitekey is null)
        {
            var r = Render.Match(html);
            if (r.Success) { sitekey = r.Groups["k"].Value; at = r.Index; }
        }
        if (sitekey is null) throw new InvalidDataException("no SmartCaptcha sitekey on the page");

        // Work inside the form that holds the widget, so a search box above it is ignored.
        var start = Math.Max(0, html.LastIndexOf("<form", at, StringComparison.OrdinalIgnoreCase));
        var end = html.IndexOf("</form", at, StringComparison.OrdinalIgnoreCase);
        var form = html.Substring(start, (end < 0 ? html.Length : end) - start);

        var hidden = new Dictionary<string, string>();
        foreach (Match input in Input.Matches(form))
        {
            var a = new Dictionary<string, string>();
            foreach (Match m in Attr.Matches(input.Value))
                a[m.Groups["n"].Value.ToLowerInvariant()] = WebUtility.HtmlDecode(m.Groups["v"].Value);
            if (a.GetValueOrDefault("type") == "hidden" && a.TryGetValue("name", out var name))
                hidden[name] = a.GetValueOrDefault("value", "");
        }
        return new PageForm(sitekey, FormAction.Match(form).Groups["a"].Value, hidden);
    }
}

Langkah 2: pecahkan dengan YandexSmartAsync dan kirim formulir

Blok kedua melakukan satu pengiriman utuh: mengambil halaman, memecahkan, dan mengirim POST formulir. Tiga detail penting.

Pertama, HttpClient memiliki CookieContainer, sehingga cookie sesi dari pengambilan halaman ikut terkirim bersama POST formulir, dan field CSRF yang disalin dari halaman cocok dengannya. Kedua, satu string User-Agent dipakai untuk pengambilan halaman, opsi userAgent, dan POST formulir. Opsi itu memberi tahu CapSkip User-Agent mana yang ditampilkan ke Yandex (dokumentasi SDK). Di mock saya, situs membandingkan User-Agent POST formulir dengan yang dibawa task: task yang dikirim dengan Other/1.0 mendapat 403 pada ketiga percobaan, dan task yang dikirim tanpa opsi itu tidak membawa apa pun dan lolos. Aturan itu buatan saya, jadi mock tidak dapat menunjukkan bahwa Yandex atau situs sungguhan peduli. Mempertahankan satu string hanya butuh satu konstanta. Jika Anda tidak memakai opsi itu, dokumentasi API CapSkip menyatakan User-Agent Chrome terbaru yang ditampilkan, yang tidak akan sama dengan string yang dikirim HttpClient.

Ketiga, pemecahan dilakukan setelah pengambilan halaman dan tepat sebelum POST, dengan halaman baru setiap kali. Yandex menyatakan token berlaku selama lima menit dan hanya dapat diperiksa satu kali (dokumentasi validasi), sehingga token yang dipakai ulang atau ditimbun akan gagal. Saya tidak tahu apakah POST formulir yang ditolak menghabiskan token, jadi loop di langkah berikutnya mengambil halaman baru dan memecahkan lagi setelah setiap penolakan. Baris Referer ada karena beberapa framework menolak POST formulir yang tidak memiliki Referer maupun Origin, dan HttpClient tidak mengirim keduanya dengan sendirinya. Setelah baris itu dihapus, mock saya menolak ketiga percobaan, karena saya menulisnya demikian.

static class Flow
{
    // One string, used for the page fetch, the solve and the form post.
    public const string UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/146.0.0.0 Safari/537.36";

    // Local mode. In Server mode, use your server's address instead. If API Key
    // Validation is on in CapSkip, also pass apiKey: "YOUR_KEY" here.
    public static readonly CapSkipClient Solver = new(host: "127.0.0.1", port: 8080);

    public static HttpClient NewHttp()
    {
        var http = new HttpClient(new HttpClientHandler { CookieContainer = new CookieContainer(), UseCookies = true });
        http.DefaultRequestHeaders.TryAddWithoutValidation("User-Agent", UserAgent);
        return http;
    }

    // One whole submission: fresh page, fresh token, form post. Never reuse a token.
    public static async Task<(int Status, string Text)> Submit(HttpClient http, string pageUrl, string email, CancellationToken ct)
    {
        var form = Page.Read(await http.GetStringAsync(pageUrl, ct));

        // Solve after the page is in hand and right before the post: a token lives 5 minutes.
        var solved = await Solver.YandexSmartAsync(form.Sitekey, pageUrl,
            new Dictionary<string, object?> { ["userAgent"] = UserAgent }, ct);

        var fields = new Dictionary<string, string>(form.Hidden) { ["email"] = email, ["smart-token"] = solved.Token! };
        using var request = new HttpRequestMessage(HttpMethod.Post, new Uri(new Uri(pageUrl), form.Action))
        {
            Content = new FormUrlEncodedContent(fields),
        };
        request.Headers.Referrer = new Uri(pageUrl);   // some frameworks refuse a post without one
        using var response = await http.SendAsync(request, ct);
        var body = await response.Content.ReadAsStringAsync(ct);
        return ((int)response.StatusCode, Regex.Replace(body, "<[^>]+>", " ").Trim());
    }
}

Hasilnya membawa token dua kali, sebagai Token dan sebagai Code, dan keduanya berupa string yang sama pada probe saya. Gunakan Token. Code ada agar kode yang ditulis untuk klien 2Captcha lain, yang membaca satu field untuk semua tipe CAPTCHA, tetap berfungsi. Berikut opsi yang diterima YandexSmartAsync, sesuai daftar di kode sumber dan dokumentasi 1.8.0.

OpsiFungsinyaTerlihat di mock
userAgentUser-Agent yang ditampilkan CapSkip ke Yandex. Nama "useragent" dan "user_agent" juga berfungsiSampai sebagai "useragent". String kosong tidak dikirim
proxyObjek Proxy, alamat biasa, atau pasangan type dan uriSampai sebagai proxy ditambah proxytype HTTP
"timeout" dan "polling_interval"Detik untuk terus melakukan polling dan jeda terlama antar polling, seperti pada metode lainTimeout 5 pada klien default mengakhiri task yang tidak pernah siap setelah 7.85 s (net8.0) dan 7.86 s (net10.0). Polling interval 1 menghasilkan token setelah 3.87 s di keduanya
pageurlMenggantikan argumen urlurl null dengan pageurl yang diatur tetap terkirim

Selain timeout dan polling_interval milik SDK sendiri, yang lain ditolak. Memberi action, yang diterima MTCaptcha, atau invisible, yang diterima hCaptcha, memunculkan ValidationException sebelum request apa pun. Jika situs membaca alamat pengunjung dan mengirimkannya ke Yandex, halaman Yandex CapSkip menyatakan agar memakai satu proxy untuk pemecahan dan POST formulir. Lihat panduan proxy yang berisi langkah penyiapannya.

Langkah 3: jalankan Yandex SmartCaptcha di C# dari awal sampai akhir

Blok terakhir memuat Main. Arahkan PageUrl ke halaman pendaftaran Anda sendiri, karena proses pertama terhadap example.com mencetak pesan 404 dari pengambilan halaman yang gagal dan tidak pernah sampai ke widget. Jalankan dengan dotnet run. Hingga tiga pengiriman berjalan di bawah satu anggaran pembatalan, dan jawaban formulir di bawah 400 mengakhiri proses. Error CapSkip juga mengakhirinya, karena mengirim task yang sama lagi tidak dapat mengubah jawabannya.

Anggarannya sepuluh menit karena setiap pemecahan dapat menunggu hingga recaptchaTimeout, 300 detik secara default, sehingga dua percobaan yang macet sudah menghabiskan semuanya (perhitungan dari nilai default, bukan hasil proses). Kurangi anggarannya jika situs Anda tidak bisa menunggu selama itu.

static class Program
{
    const string PageUrl = "https://example.com/signup";  // the page that shows the SmartCaptcha widget

    static async Task<int> Main()
    {
        // Solves may take a while, so one budget covers every attempt below.
        using var budget = new CancellationTokenSource(TimeSpan.FromMinutes(10));
        using var http = Flow.NewHttp();
        try
        {
            for (var attempt = 1; attempt <= 3; attempt++)
            {
                var (status, text) = await Flow.Submit(http, PageUrl, "[email protected]", budget.Token);
                Console.WriteLine($"attempt {attempt}: {status} {text}");
                if (status < 400) return 0;
            }
            Console.WriteLine("the site refused 3 submissions");
        }
        catch (Exception) when (budget.IsCancellationRequested) { Console.WriteLine("the 10 minute budget ran out"); }
        catch (ValidationException ex) { Console.WriteLine($"CapSkip refused the call: {ex.Message}"); }
        catch (ApiException ex) { Console.WriteLine($"CapSkip answered {ex.Message}"); }
        catch (SolverTimeout ex) { Console.WriteLine($"no token in time: {ex.Message}"); }
        catch (CapSkipError ex) { Console.WriteLine($"{ex.GetType().Name}: {ex.Message}"); }
        // HttpClient's own timeout is a TaskCanceledException wrapping System.TimeoutException.
        catch (TaskCanceledException ex) when (ex.InnerException is System.TimeoutException) { Console.WriteLine("the site answered too slowly"); }
        catch (HttpRequestException ex) { Console.WriteLine($"the site did not answer: {ex.Message}"); }
        catch (InvalidDataException ex) { Console.WriteLine(ex.Message); }
        return 1;
    }
}

Timeout dan pembatalan

Pemecahan Yandex memakai recaptchaTimeout, 300 detik secara default, bukan defaultTimeout, karena CapSkip menjalankan widget di browser sungguhan (kode sumber SDK). Saya memeriksanya terhadap mock. Dengan defaultTimeout diatur 3 dan task yang baru siap pada polling keenam, pemanggilan mengembalikan token setelah 7.86 detik di kedua runtime, jadi timeout pendek itu diabaikan. Dengan recaptchaTimeout diatur 5 dan task yang tidak pernah siap, TimeoutException CapSkip muncul setelah 7.83 sampai 7.87 detik dalam delapan proses di kedua runtime, bukan setelah 5. Mock mencatat polling pada sekitar 0, 0.26, 0.78, 1.78, dan 3.8 detik. SDK lalu tidur 4 detik, mendapati batas waktu telah lewat, dan melempar exception tanpa polling keenam, karena ia hanya melihat jam setelah setiap tidur.

Dua tipe TimeoutException bertemu di sini. Implicit usings mengimpor System, yang memiliki TimeoutException sendiri, sehingga catch polos di samping using CapSkip gagal dibuild dengan error CS0104, seperti yang terjadi di kedua runtime. Baris using di bagian atas blok pertama mengganti nama class SDK menjadi SolverTimeout. HttpClient menambahkan sumber ketiga: timeout-nya sendiri bukan CapSkipError. Timeout satu detik terhadap halaman mock yang tidur tiga detik muncul sebagai TaskCanceledException dengan InnerException System.TimeoutException, setelah 1.02 detik di kedua runtime.

CancellationToken menjangkau pengambilan halaman dan panggilan CapSkip. Di mock, anggaran 2 detik habis di dua tempat. Ketika mock menahan in.php tetap terbuka, exception-nya adalah NetworkException yang membungkus TaskCanceledException. Ketika SDK sedang melakukan polling, exception-nya adalah TaskCanceledException biasa. Keduanya muncul setelah sekitar 2.0 detik. Main menguji anggaran itu sendiri, jadi satu filter mencakup kedua bentuk.

Hasil dari mock menyusul. Hasil ini tidak menunjukkan apa pun tentang situs sungguhan dan identik di net8.0 dan net10.0.

Pengaturan mockYang dilakukan program
Default, salah satu dari tiga bentuk halaman200 Account created, satu task
Situs menjawab 403 pada POST formulir pertamaPercobaan kedua dengan halaman baru dan task baru, lalu 200
Situs menolak setiap POST formulirTiga percobaan, tiga task, exit code 1
ERROR_RECAPTCHA_INVALID_DOMAIN atau ERROR_RECAPTCHA_INVALID_SITEKEYBalasan dicetak, exit code 1, satu task, tanpa percobaan ulang
Halaman tanpa widgetSebuah pesan, exit code 1, tidak ada task yang dikirim
Tidak ada yang mendengarkan di alamat CapSkipNetworkException, exit code 1

Kesalahan umum

Apa yang Anda lihatPenyebabPerbaiki
ValidationExceptionSDK menolak pemanggilan sebelum mengirimnya: sitekey di luar 16 sampai 120 karakter yang diizinkan, alamat halaman yang bukan URL http atau https absolut, tipe proxy yang tidak didukung, atau opsi yang tidak dimiliki metode Yandex. Sebelas pemanggilan semacam itu ditolak dan tidak ada yang sampai ke mockPerbaiki argumennya. Mencoba ulang tidak akan membantu
ERROR_RECAPTCHA_INVALID_SITEKEY atau ERROR_RECAPTCHA_INVALID_DOMAINYandex tidak mengenal kunci itu, atau kunci itu tidak diizinkan di domain tersebut (dokumentasi API; mock saya memunculkan keduanya pada polling pertama)Baca ulang kunci dan alamat dari halaman. Jangan coba ulang
ERROR_CAPTCHA_UNSOLVABLEChallenge tidak berhasil dilewati (tercantum di dokumentasi API; saya hanya dapat memicunya di mock)Mulai pengiriman baru dengan halaman baru
ERROR_PROXY_CONNECT_REFUSEDTask tidak dapat menjangkau Yandex melalui proxy-nya (dokumentasi SDK)Periksa alamat proxy
CapSkip TimeoutExceptionTidak ada token dalam recaptchaTimeout, terdeteksi pada polling berikutnyaNaikkan recaptchaTimeout atau periksa CapSkip
Situs menolak formulirToken kedaluwarsa atau sudah diperiksa, menurut dokumentasi Yandex. Di mock saya juga karena User-Agent berbeda atau tanpa RefererAmbil, pecahkan, dan kirim lagi dalam satu putaran

Mode Server: CapSkip di PC lain

CapSkip juga dapat berjalan sebagai server di mesin Windows yang Anda kendalikan, sehingga program ini dapat berada di PC atau host lain dan memanggil solver melalui API. Ganti 127.0.0.1 pada baris CapSkipClient dengan alamat mesin itu, dan atur modenya di pengaturan koneksi.

Mode Server membuat port CapSkip dapat dijangkau dari setiap alamat. Persempit dengan aturan block Windows Firewall yang mencakup setiap mesin yang tidak Anda harapkan, dan aktifkan juga API Key Validation, dengan mengisi apiKey pada baris CapSkipClient.

FAQ

Apakah memecahkan Yandex SmartCaptcha di C# memerlukan browser?

Tidak untuk pemecahannya: CapSkip menjalankan widget itu sendiri. Anda hanya membutuhkannya jika halaman membangun formulirnya dengan skrip, sehingga unduhan biasa tidak menampilkan formulir untuk dikirim. Dalam kasus itu gunakan alat browser dan baca sitekey dari halaman yang sudah dimuat.

Siapa yang memeriksa token?

Server milik situs itu sendiri. Server itu mengirim token dan secret key servernya ke Yandex, dan Yandex menjawab dengan sebuah status. Anda tidak pernah memegang kunci itu. Jangan periksa token sendiri sebelum POST formulir, karena token hanya dapat diperiksa satu kali.

Berapa lama waktu pemecahan?

Halaman Yandex CapSkip menyebut biasanya 15 sampai 30 detik. Saya tidak dapat mengukurnya, karena tidak ada pemecahan sungguhan yang berjalan. Rencanakan dengan recaptchaTimeout dan CancellationToken.

Yandex SmartCaptcha di C# intinya satu pengambilan halaman, satu panggilan YandexSmartAsync, dan satu POST formulir yang memakai User-Agent yang sama. Dengan pemecah captcha lokal berlisensi tetap yang berjalan di PC Anda sendiri, formulir yang ditolak hanya memakan beberapa detik tanpa biaya. Tipe CAPTCHA lain di .NET dibahas di Halaman pemecah CAPTCHA C#, dan format request mentahnya ada di Dokumentasi API.