C# ile Yandex SmartCaptcha: YandexSmartAsync ile Çözün

yandex smartcaptcha in c# - Yandex SmartCaptcha in C#: Solve It With YandexSmartAsync

Kendi bir tarayıcınız olmadan C’ta Yandex SmartCaptcha çözmek için sayfayı çerezleri tutan bir HttpClient ile alın, sitekey değerini widget’ın data-sitekey özniteliğinden okuyun ve CapSkip NuGet paketindeki YandexSmartAsync fonksiyonuna verin. Dönen token, smart-token form alanına girer ve çözüme verilen User-Agent ile aynısıyla gönderilir (mock’um bunu uygular, gerçek bir sitenin uyguladığı gösterilmedi). Çözme işini kendi Windows bilgisayarınızda CapSkip Yandex SmartCaptcha çözücüyapar, token başına ücret yoktur.

Neye ihtiyacınız var

  • Yandex SmartCaptcha listeleyen bir sürümle Windows bilgisayarına kurulmuş CapSkip (changelog bunu CapSkip 5.0.0 ile başlatır). Bunu şu kılavuzu izleyerek yükleyin: kurulum kılavuzu. Çalışan bir uygulamanın sürümünü okuyamadım, bu yüzden aşağıdaki her sonuç bir mock’tan gelir.
  • Bir .NET SDK (ben 10.0.100 kullandım; yalnızca 8 SDK’sı olan bir makine denenmedi) ve YandexSmartAsync içeren ilk sürüm olan CapSkip NuGet paketi 1.8.0. Nuspec dosyası tek bir hedef, netstandard2.0, ve tek bir bağımlılık, System.Text.Json 8.0.5, belirtir. Kodum net8.0 (runtime 8.0.27) ve net10.0 (runtime 10.0.0) üzerinde çalıştı; ikisi de SDK 10.0.100 ile derlendi ve daha eski hiçbir şey denenmedi.
  • Bir SmartCaptcha widget’ı taşıyan ve otomatikleştirmenize izin verilen bir kayıt, giriş veya iletişim sayfası.
  • CapSkip için bir adres. Local modu çözücüyü 127.0.0.1 üzerinde tutar ve yalnızca aynı bilgisayardan erişilebilir. Server modu, başka makinelerden gelen çağrılar için ağınızı veya genel IP’nizi de dinler. Bunlar arasında bağlantı ayarları ile seçim yaparsınız.

Aşağıdaki her şey bir mock’a karşı çalıştı. Mock, in.php, res.php ve bir kayıt sitesini oynar ve form kuralları benimdir. Hiçbir Yandex sayfasıyla iletişim kurulmadı ve gerçek bir token üretilmedi; bu yüzden gerçek bir token’ın neye benzediği ya da gerçek bir çözümün ne kadar sürdüğü hakkında bir şey söylemiyorum.

1. Adım: projeyi oluşturun ve sayfayı okuyun

dotnet new console -o yandex-demo
cd yandex-demo
dotnet add package CapSkip --version 1.8.0

SDK 10 ile yeni proje net10.0 hedefler. net8.0 için derlemek üzere yandex-demo.csproj dosyasını açın ve TargetFramework satırını net8.0 olarak değiştirin. Program.cs içindeki her şeyi silin, sonra aşağıdaki üç C# bloğunu sırayla yapıştırın. Yalnızca ilkinde using satırları vardır.

Yandex, widget’ı smart-captcha sınıfına sahip boş bir div ve data-sitekey içindeki istemci anahtarı olarak tarif eder. Widget’ı kendi script’inden çizen bir sayfa aynı anahtarı smartCaptcha.render fonksiyonuna verir; bunu CapSkip API belgeleri içindeki Yandex bölümü açıklar. Bir ziyaretçi geçtiğinde widget, kapsayıcıya smart-token adlı gizli bir input ekler; bu yüzden indirdiğiniz HTML’de böyle bir alan yoktur ve kod onu kendisi ekler (Yandex hızlı başlangıç kılavuzu).

Anahtar için bir regex; öznitelik sırasıyla, tırnak biçimiyle ve benzer görünen yapılarla başa çıkmak zorundadır. Bu yüzden ilk blok yalnızca class özniteliği smart-captcha listeleyen etiketlere bakar. Adresinde bu ad geçen bir stil sayfası ya da script dosyası veya aynı adlı bir id sayılmaz. Her böyle etiketi data-sitekey için dener, sonra bir smartCaptcha.render çağrısına döner. Mock’uma karşı iki runtime’da da sekiz sayfa biçiminde doğru anahtarı okudu: data-sitekey sınıftan sonra; sınıftan önce ve tek tırnaklı; tırnaksız; widget’ın üstünde bu adı taşıyan bir stil sayfası ve bir script; yalnızca bir render çağrısındaki anahtar; bir render çağrısının yanında bir id div; gerçek widget’ı saran bir id div; ve gerçeğinin üstünde bir arama formu. sitekey: k örneğindeki gibi bir değişkende tutulan anahtar desteklenmez ve sitekey bulunamadı istisnasını fırlattı.

Blok sonra widget’ı içeren formun içinde çalışır; böylece sayfanın daha yukarısındaki bir arama formu gerçeği sanılmaz. O formun gizli input’larını bir sözlüğe kopyalar; CSRF alanı form gönderimine böyle ulaşır. Ayrıca action değerini okur. SDK anahtarı kendisi denetler: 16 ila 120 harf, rakam, alt çizgi veya tire, genellikle ysc1_ ile başlar.

using System.Net;
using System.Text.RegularExpressions;
using CapSkip;
// Implicit usings import System, which has a TimeoutException too (a bare one fails with CS0104).
using SolverTimeout = CapSkip.TimeoutException;

// What the page gives you: the sitekey, the form that holds the widget, and its hidden fields.
record PageForm(string Sitekey, string Action, Dictionary<string, string> Hidden);

static class Page
{
    // A tag whose class attribute lists smart-captcha, in any attribute order. A stylesheet,
    // a script src or an id of the same name does not count.
    static readonly Regex Widget = new(@"<[^>]*\bclass\s*=\s*(?<q>[""'])[^""']*(?<![\w-])smart-captcha(?![\w-])[^""']*\k<q>[^>]*>", RegexOptions.IgnoreCase);
    static readonly Regex DataKey = new(@"data-sitekey\s*=\s*(?<q>[""']?)(?<k>[\w-]+)\k<q>", RegexOptions.IgnoreCase);
    // Pages that draw the widget from script pass a quoted key to smartCaptcha.render.
    static readonly Regex Render = new(@"smartCaptcha\.render\([^;]*?sitekey\s*:\s*(?<q>[""'])(?<k>[^""']+)\k<q>", RegexOptions.Singleline);
    static readonly Regex Input = new(@"<input\b[^>]*>", RegexOptions.IgnoreCase);
    static readonly Regex Attr = new(@"(?<n>[\w-]+)\s*=\s*(?<q>[""'])(?<v>[^""']*)\k<q>");
    static readonly Regex FormAction = new(@"<form\b[^>]*\baction\s*=\s*(?<q>[""'])(?<a>[^""']*)\k<q>", RegexOptions.IgnoreCase);

    public static PageForm Read(string html)
    {
        string? sitekey = null;
        var at = 0;
        foreach (Match tag in Widget.Matches(html))
        {
            var k = DataKey.Match(tag.Value);
            if (k.Success) { sitekey = k.Groups["k"].Value; at = tag.Index; break; }
        }
        if (sitekey is null)
        {
            var r = Render.Match(html);
            if (r.Success) { sitekey = r.Groups["k"].Value; at = r.Index; }
        }
        if (sitekey is null) throw new InvalidDataException("no SmartCaptcha sitekey on the page");

        // Work inside the form that holds the widget, so a search box above it is ignored.
        var start = Math.Max(0, html.LastIndexOf("<form", at, StringComparison.OrdinalIgnoreCase));
        var end = html.IndexOf("</form", at, StringComparison.OrdinalIgnoreCase);
        var form = html.Substring(start, (end < 0 ? html.Length : end) - start);

        var hidden = new Dictionary<string, string>();
        foreach (Match input in Input.Matches(form))
        {
            var a = new Dictionary<string, string>();
            foreach (Match m in Attr.Matches(input.Value))
                a[m.Groups["n"].Value.ToLowerInvariant()] = WebUtility.HtmlDecode(m.Groups["v"].Value);
            if (a.GetValueOrDefault("type") == "hidden" && a.TryGetValue("name", out var name))
                hidden[name] = a.GetValueOrDefault("value", "");
        }
        return new PageForm(sitekey, FormAction.Match(form).Groups["a"].Value, hidden);
    }
}

2. Adım: YandexSmartAsync ile çözün ve formu gönderin

İkinci blok bütün bir gönderimi yapar: bir sayfa alımı, bir çözüm ve bir form gönderimi. Üç ayrıntı önemlidir.

Birincisi, HttpClient bir CookieContainer nesnesine sahiptir; bu yüzden sayfa alımından gelen oturum çerezi form gönderimiyle birlikte gider ve sayfadan kopyalanan CSRF alanı onunla eşleşir. İkincisi, tek bir User-Agent dizesi sayfa alımına, userAgent seçeneğine ve form gönderimine hizmet eder. Seçenek, CapSkip’e Yandex’e hangi User-Agent değerini sunacağını söyler (SDK belgeleri). Mock’umda site, form gönderiminin User-Agent değerini görevin taşıdığıyla karşılaştırır: Other/1.0 ile gönderilen bir görev üç denemenin hepsinde 403 aldı, seçenek olmadan gönderilen bir görev ise hiçbir şey taşımadı ve geçti. Bu kural benimdir, bu yüzden mock, Yandex’in ya da herhangi bir gerçek sitenin buna önem verdiğini gösteremez. Tek bir dizeyi korumak tek bir sabite mal olur. Seçeneği bırakırsanız CapSkip API belgeleri güncel bir Chrome User-Agent değerinin sunulduğunu söyler; bu da HttpClient’ın gönderdiği dizeye eşit olmayacaktır.

Üçüncüsü, çözüm sayfa alımından sonra ve gönderimden hemen önce gelir; her seferinde taze bir sayfayla. Yandex, bir token’ın beş dakika geçerli kaldığını ve yalnızca bir kez denetlenebileceğini söyler (doğrulama belgeleri); bu yüzden yeniden kullanılan ya da biriktirilen bir token başarısız olur. Reddedilen bir form gönderiminin token’ı tüketip tüketmediğini bilemiyorum, bu yüzden sonraki adımdaki döngü her reddin ardından yeni bir sayfa alır ve yeniden çözer. Referer satırı oradadır, çünkü bazı framework’ler ne Referer ne de Origin taşıyan bir form gönderimini reddeder ve HttpClient kendiliğinden ikisini de göndermez. Satır silindiğinde mock’um, öyle yazdığım için üç denemenin hepsini reddetti.

static class Flow
{
    // One string, used for the page fetch, the solve and the form post.
    public const string UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/146.0.0.0 Safari/537.36";

    // Local mode. In Server mode, use your server's address instead. If API Key
    // Validation is on in CapSkip, also pass apiKey: "YOUR_KEY" here.
    public static readonly CapSkipClient Solver = new(host: "127.0.0.1", port: 8080);

    public static HttpClient NewHttp()
    {
        var http = new HttpClient(new HttpClientHandler { CookieContainer = new CookieContainer(), UseCookies = true });
        http.DefaultRequestHeaders.TryAddWithoutValidation("User-Agent", UserAgent);
        return http;
    }

    // One whole submission: fresh page, fresh token, form post. Never reuse a token.
    public static async Task<(int Status, string Text)> Submit(HttpClient http, string pageUrl, string email, CancellationToken ct)
    {
        var form = Page.Read(await http.GetStringAsync(pageUrl, ct));

        // Solve after the page is in hand and right before the post: a token lives 5 minutes.
        var solved = await Solver.YandexSmartAsync(form.Sitekey, pageUrl,
            new Dictionary<string, object?> { ["userAgent"] = UserAgent }, ct);

        var fields = new Dictionary<string, string>(form.Hidden) { ["email"] = email, ["smart-token"] = solved.Token! };
        using var request = new HttpRequestMessage(HttpMethod.Post, new Uri(new Uri(pageUrl), form.Action))
        {
            Content = new FormUrlEncodedContent(fields),
        };
        request.Headers.Referrer = new Uri(pageUrl);   // some frameworks refuse a post without one
        using var response = await http.SendAsync(request, ct);
        var body = await response.Content.ReadAsStringAsync(ct);
        return ((int)response.StatusCode, Regex.Replace(body, "<[^>]+>", " ").Trim());
    }
}

Sonuç token’ı iki kez taşır, Token ve Code olarak, ve iki değer yaptığım denemede aynı dizeydi. Token kullanın. Code, her CAPTCHA türü için tek bir alan okuyan başka bir 2Captcha istemcisine karşı yazılmış kodun çalışmaya devam etmesi için oradadır. Bunlar YandexSmartAsync fonksiyonunun aldığı seçeneklerdir, 1.8.0 kaynağı ve belgelerinin listelediği gibi.

SeçenekNe yaparMock’ta görüldü
userAgentCapSkip’in Yandex’e sunduğu User-Agent. "useragent" ve "user_agent" adları da çalışır"useragent" olarak ulaştı. Boş bir dize gönderilmez
proxyBir Proxy nesnesi, düz bir adres veya bir type ve uri çiftiproxy artı proxytype HTTP olarak ulaştı
"timeout" ve "polling_interval"Yoklamanın sürdüğü saniye sayısı ve yoklamalar arasındaki en uzun duraklama, diğer metotlardaki gibiVarsayılan bir istemcide 5 değerindeki timeout, hiç hazır olmayan bir görevi 7,85 sn (net8.0) ve 7,86 sn (net10.0) sonra bitirdi. 1 değerindeki polling interval, ikisinde de 3,87 sn sonra bir token verdi
pageurlurl argümanının yerini tutarpageurl ayarlı bir null url gönderildi

Bunun dışındaki her şey, SDK’nın kendi timeout ve polling_interval seçenekleri hariç, reddedilir. MTCaptcha’nın aldığı action ya da hCaptcha’nın aldığı invisible geçirmek, herhangi bir istekten önce ValidationException fırlattı. Site ziyaretçi adresini okuyup Yandex’e gönderiyorsa CapSkip Yandex sayfası, çözüm ve form gönderimi için tek bir proxy kullanmanızı söyler; kurulum adımları için ise proxy kılavuzu sayfasına bakın.

3. Adım: Yandex SmartCaptcha çözümünü C# ile uçtan uca çalıştırın

Son blok Main fonksiyonunu tutar. PageUrl değerini kendi kayıt sayfanıza yönlendirin, çünkü example.com’a karşı ilk çalıştırma başarısız sayfa alımından bir 404 iletisi yazdırır ve widget’a hiç ulaşmaz. dotnet run ile çalıştırın. En fazla üç gönderim tek bir iptal bütçesi altında çalışır ve 400’ün altındaki bir form yanıtı çalıştırmayı bitirir. Bir CapSkip hatası da bitirir, çünkü aynı görevi yeniden göndermek yanıtı değiştiremez.

Bütçe on dakikadır, çünkü her çözüm recaptchaTimeout kadar, varsayılan olarak 300 saniye, bekleyebilir; bu yüzden takılan iki deneme zaten hepsini kullanır (varsayılanlardan yapılan hesap, bir çalıştırma değil). Siteniz o kadar bekleyemiyorsa bütçeyi düşürün.

static class Program
{
    const string PageUrl = "https://example.com/signup";  // the page that shows the SmartCaptcha widget

    static async Task<int> Main()
    {
        // Solves may take a while, so one budget covers every attempt below.
        using var budget = new CancellationTokenSource(TimeSpan.FromMinutes(10));
        using var http = Flow.NewHttp();
        try
        {
            for (var attempt = 1; attempt <= 3; attempt++)
            {
                var (status, text) = await Flow.Submit(http, PageUrl, "[email protected]", budget.Token);
                Console.WriteLine($"attempt {attempt}: {status} {text}");
                if (status < 400) return 0;
            }
            Console.WriteLine("the site refused 3 submissions");
        }
        catch (Exception) when (budget.IsCancellationRequested) { Console.WriteLine("the 10 minute budget ran out"); }
        catch (ValidationException ex) { Console.WriteLine($"CapSkip refused the call: {ex.Message}"); }
        catch (ApiException ex) { Console.WriteLine($"CapSkip answered {ex.Message}"); }
        catch (SolverTimeout ex) { Console.WriteLine($"no token in time: {ex.Message}"); }
        catch (CapSkipError ex) { Console.WriteLine($"{ex.GetType().Name}: {ex.Message}"); }
        // HttpClient's own timeout is a TaskCanceledException wrapping System.TimeoutException.
        catch (TaskCanceledException ex) when (ex.InnerException is System.TimeoutException) { Console.WriteLine("the site answered too slowly"); }
        catch (HttpRequestException ex) { Console.WriteLine($"the site did not answer: {ex.Message}"); }
        catch (InvalidDataException ex) { Console.WriteLine(ex.Message); }
        return 1;
    }
}

Zaman aşımları ve iptal

Yandex çözümleri, CapSkip widget’ı gerçek bir tarayıcıda geçtiği için defaultTimeout değil, varsayılan olarak 300 saniye olan recaptchaTimeout kullanır (SDK kaynağı). Bunu mock’a karşı denetledim. defaultTimeout 3 iken ve ancak altıncı yoklamada hazır olan bir görevle, çağrı her iki runtime’da 7,86 saniye sonra bir token döndürdü; yani kısa zaman aşımı yok sayıldı. recaptchaTimeout 5 iken ve hiç hazır olmayan bir görevle, CapSkip TimeoutException, iki runtime’daki sekiz çalıştırmada 5 saniye sonra değil, 7,83 ila 7,87 saniye sonra geldi. Mock yoklamaları yaklaşık 0; 0,26; 0,78; 1,78 ve 3,8 saniyelerde kaydetti. SDK sonra 4 saniye uyudu, süre sınırının geçtiğini gördü ve altıncı bir yoklama yapmadan fırlattı, çünkü saate yalnızca her uykudan sonra bakar.

İki TimeoutException türü burada buluşur. Örtük using satırları, kendi TimeoutException sınıfı olan System ad alanını içe aktarır; bu yüzden using CapSkip yanında çıplak bir catch, her iki runtime’da olduğu gibi CS0104 hatasıyla derlenmez. İlk bloğun en üstündeki using satırı SDK sınıfını SolverTimeout olarak yeniden adlandırır. HttpClient üçüncü bir kaynak ekler: kendi zaman aşımı bir CapSkipError değildir. Üç saniye uyuyan bir mock sayfaya karşı bir saniyelik Timeout, her iki runtime’da 1,02 saniye sonra InnerException değeri System.TimeoutException olan bir TaskCanceledException olarak ortaya çıktı.

CancellationToken hem sayfa alımına hem CapSkip çağrılarına ulaşır. Mock’ta 2 saniyelik bir bütçe iki yerde tükendi. Mock in.php isteğini açık tutarken istisna, bir TaskCanceledException saran bir NetworkException idi. SDK yoklarken ise düz bir TaskCanceledException idi. İkisi de yaklaşık 2,0 saniye sonra göründü. Main bütçeyi kendisi sınar; bu yüzden tek bir filtre her iki biçimi de kapsar.

Mock sonuçları aşağıda. Gerçek bir site hakkında hiçbir şey söylemezler ve net8.0 ile net10.0 üzerinde aynıydılar.

Mock ayarıProgram ne yaptı
Varsayılanlar, üç sayfa biçiminden herhangi biri200 Account created, bir görev
Site ilk form gönderimine 403 yanıtı veriyorYeni bir sayfa ve yeni bir görevle ikinci deneme, ardından 200
Site her form gönderimini reddediyorÜç deneme, üç görev, çıkış kodu 1
ERROR_RECAPTCHA_INVALID_DOMAIN veya ERROR_RECAPTCHA_INVALID_SITEKEYYanıt yazdırıldı, çıkış kodu 1, bir görev, yeniden deneme yok
Widget içermeyen sayfaBir ileti, çıkış kodu 1, hiçbir görev gönderilmedi
CapSkip adresinde dinleyen yokNetworkException, çıkış kodu 1

Yaygın hatalar

GördüğünüzNedenDüzeltme
ValidationExceptionSDK çağrıyı göndermeden reddetti: izin verilen 16 ila 120 karakterin dışında bir sitekey, mutlak bir http veya https URL’si olmayan bir sayfa adresi, desteklenmeyen bir proxy türü ya da Yandex metodunda olmayan bir seçenek. Böyle on bir çağrı reddedildi ve hiçbiri mock’a ulaşmadıArgümanı düzeltin. Yeniden denemek yardımcı olmaz
ERROR_RECAPTCHA_INVALID_SITEKEY veya ERROR_RECAPTCHA_INVALID_DOMAINYandex anahtarı tanımıyor ya da anahtara o alan adında izin verilmiyor (API belgeleri; mock’um ikisini de ilk yoklamada fırlatır)Anahtarı ve adresi sayfadan yeniden okuyun. Yeniden denemeyin
ERROR_CAPTCHA_UNSOLVABLEChallenge geçilmedi (API belgelerinde listelenir; yalnızca mock’ta tetikleyebildim)Taze bir sayfayla yeni bir gönderim başlatın
ERROR_PROXY_CONNECT_REFUSEDGörev, proxy üzerinden Yandex’e ulaşamadı (SDK belgeleri)Proxy adresini denetleyin
CapSkip TimeoutExceptionrecaptchaTimeout içinde token yok, sonraki yoklamada fark edildirecaptchaTimeout değerini yükseltin ya da CapSkip’e bakın
Site formu reddediyorYandex belgelerine göre süresi dolmuş ya da zaten denetlenmiş bir token. Mock’umda ayrıca farklı bir User-Agent veya Referer yokluğuAynı geçişte yeniden alın, çözün ve gönderin

Server modu: CapSkip başka bir bilgisayarda

CapSkip ayrıca kontrol ettiğiniz bir Windows makinesinde sunucu olarak da çalışabilir; böylece bu program başka bir bilgisayarda ya da host’ta durup çözücüyü API üzerinden çağırabilir. CapSkipClient satırında 127.0.0.1 yerine o makinenin adresini yazın ve modu şurada ayarlayın: bağlantı ayarları.

Server modu CapSkip portunu her adresten erişilebilir bırakır. Bunu, beklemediğiniz her makineyi kapsayan bir Windows Güvenlik Duvarı engelleme kuralıyla daraltın ve ayrıca API Key Validation’ı açıp CapSkipClient satırında apiKey geçirin.

FAQ

C’ta Yandex SmartCaptcha çözmek bir tarayıcı gerektirir mi?

Çözüm için hayır: CapSkip widget’ı kendisi sürer. Birine yalnızca sayfa formunu script ile kurduğunda, yani düz bir indirmede gönderilecek form görünmediğinde ihtiyaç duyarsınız. O zaman bir tarayıcı aracı kullanın ve sitekey değerini yüklenmiş sayfadan okuyun.

Token’ı kim denetler?

Sitenin kendi sunucusu. Token’ı ve gizli sunucu anahtarını Yandex’e gönderir ve Yandex bir durumla yanıt verir. O anahtarı asla elinizde tutmazsınız. Token’ı form gönderiminden önce kendiniz denetlemeyin, çünkü bir token yalnızca bir kez denetlenebilir.

Bir çözüm ne kadar sürer?

CapSkip Yandex sayfası genellikle 15 ila 30 saniye der. Gerçek bir çözüm çalışmadığı için bunu ölçemedim. Bunun için recaptchaTimeout ve bir CancellationToken ile bütçe ayırın.

C’ta Yandex SmartCaptcha, bir sayfa alımı, bir YandexSmartAsync çağrısı ve aynı User-Agent değerini yeniden kullanan bir form gönderimine iner. Kendi bilgisayarınızda çalışan sabit lisanslı yerel captcha çözücü ile reddedilen bir form birkaç saniyeye mal olur, ücrete değil. .NET’teki diğer CAPTCHA türleri için bkz. C# CAPTCHA çözücü sayfası, ham istek biçimi için ise bkz. API belgeleri.