Web scraping

Web Scraping ve Scrapy Crawler için CAPTCHA Çözücü

Crawler'larınız, fiyat takip araçlarınız ve lead toplayan scraper'larınız reCAPTCHA, Cloudflare Turnstile ve görsel doğrulamalara takılmadan ilerlemeye devam etsin. CapSkip bunları kendi çalıştırdığınız donanımda çözer; aylık fiyatı ise taramanın ne kadar büyüdüğüne hiç bakmaz.

Windows x64·Yerel olarak çalışır, böylece hiçbir CAPTCHA makinenizden çıkmaz
  • Tarama büyüse de tek fatura
  • Sınırsız iş parçacığı
  • Hedef siteler sizde kalır
aylık CAPTCHA sayısı40,000
40.0k250.0k
Başka yerde sayaçlı, 1.000 başına yaklaşık $1.40$56.00
CapSkip Bronze, sabit fiyat$35.00
$21.00cebinizde kalırher ay, bu hacimde

Web scraping için bir CAPTCHA çözücü, saatlerdir sorunsuz çalışan bir crawler doğrulama duvarına çarpıp boş sayfalar kaydetmeye başladığı anda değerini kanıtlar. CapSkip; reCAPTCHA, Cloudflare Turnstile, GeeTest v3, görsel CAPTCHA'lar ve daha fazlasını, ofisteki bir masaüstü bilgisayardan kiralık bir VPS'e kadar kendi çalıştırdığınız bir Windows makinede çözer ve yanıtı doğrudan geri verir; böylece spider'larınız takılıp kalmak yerine veri toplamaya devam eder.

Fiyat takibi, lead toplama ve SEO taramaları, çözüm başına ücret alan servislerde aynı soruna takılır: fatura taramanın peşinden gider. İki kat sayfa kabaca iki kat doğrulama demektir, üstüne her yeniden deneme eklenir ve faturadaki CAPTCHA çözme kalemi proxy harcamasını bile geçebilir. CapSkip'te kredi de sayaç da yoktur. Abonelik tek makine için aylık $35 tutar, sınırsız çözümü kapsar ve o makinenin kaldırabildiği kadar thread çalıştırmasına izin verir.

Üstelik zaten kullandığınız scraping altyapısına da uyum sağlar. Scrapy projeleri, Selenium, Playwright ve Puppeteer betikleri ile 2Captcha veya Anti-Captcha üzerine kurulmuş araçlar, doğrulamalarını çoğu zaman yeniden yazmaya gerek kalmadan CapSkip'e aktarabilir. Her çözüm sizin donanımınızda gerçekleştiği için taradığınız sitelerin listesi ağınızdan asla çıkmaz; o liste işinizin ta kendisiyse bu büyük önem taşır.

Taramayı ikiye katlayın, fatura aynı kalsın. Bir iş on bin sayfadan bir milyona çıktığında doğrulamalar da onunla birlikte artar, ama CapSkip fiyatınız artmaz. Spider ekleyin, eşzamanlılığı genişletin ve başarısız sayfaları istediğiniz kadar yeniden çalıştırın: hiçbir şey sayılmaz, dolayısıyla hiçbir şey ücretlendirilmez. Üç planı görün

Büyük taramalar için tasarlanmış web scraping CAPTCHA çözücü

Tarama büyür, fatura büyümez

Daha çok sayfa, daha çok doğrulama, daha çok yeniden deneme: hiçbiri ödediğiniz tutarı değiştirmez. İş haftada bir de çalışsa gece gündüz de çalışsa, tek bir aylık abonelik spider'larınızın karşılaştığı her CAPTCHA'yı kapsar.

Eşzamanlılığı plan değil, donanım belirler

Hiçbir plan thread sayısını sınırlamaz. Çalıştırdığınız her spider, worker ve container aynı anda aynı CapSkip makinesine doğrulama gönderebilir; işlem hacmi de doğrudan o makinenin işlemcisine ve belleğine göre şekillenir.

Tarama proxy havuzunuz üzerinden çözer

Her reCAPTCHA veya Turnstile işini crawler'ınızın zaten kullandığı proxy üzerinden gönderin; böylece token, onu gönderecek olan adresten alınmış olur. Görsel CAPTCHA'lar ise hiç proxy gerektirmez.

Hafif scraper araçları tarayıcı gerektirmez

Hiç tarayıcı açmayan scraper'lar da doğrulamayı geçebilir. CapSkip tarayıcı işini kendi tarafında yapar ve scraper'ınızın formla birlikte göndereceği bir token döndürür.

Mevcut crawler kodunuz çalışmaya devam eder

Crawler'ınız yıllardır CAPTCHA'larını CapSolver'a veya Anti-Captcha'ya mı gönderiyor? Koda dokunmayın. CapSkip penceresinde eşleşen servisi seçin, her iş yerel olarak yanıtlansın.

Hedef listeniz gizli kalır

Uzak bir çözüm servisi, gönderdiğiniz her URL'yi ve görseli teslim alır. CapSkip bu işi kendi makinenizde tutar; yani hiçbir dış sağlayıcı hangi siteleri izlediğinizi asla öğrenmez.

Scraping akışınıza CapSkip ekleyin

Python
# pip install capskip
from capskip import CapSkip
import requests

solver = CapSkip(host="127.0.0.1", port=8080)
session = requests.Session()

# The search results are behind a reCAPTCHA, so solve it first.
token = solver.recaptcha(
    sitekey="YOUR_SITEKEY",
    url="https://example.com/search",
)["code"]

page = session.post(
    "https://example.com/search",
    data={"q": "widgets", "g-recaptcha-response": token},
)

print(page.status_code, len(page.text))

Bu örnekte bir arama formu reCAPTCHA'nın arkasında duruyor; yerel CapSkip uygulaması doğrulamayı çözüyor, scraper yanıtı gönderiyor ve sonuçları toplamaya devam ediyor.

Tarayıcı tabanlı scraping için uzantı

Görünür bir Chrome veya Firefox penceresinde mi veri topluyorsunuz? Eklentiyi kurun, CapSkip uygulamasını arka planda açık bırakın; her sayfadaki doğrulamalar tek satır kod yazmadan çözülsün.

Kendi yazdığınız spider kodları için SDK

Kendi spider'ınızı Python veya Node.js ile mi yazıyorsunuz? PHP ve .NET sürümleri de bulunan resmi SDK'lar, ister bir Scrapy projesinde ister kısa, bağımsız bir betikte olsun, tek çağrıda token döndürür.

Halihazırda çalışan araçlar için yerel API

2Captcha veya Anti-Captcha için yazılmış scraping araçları ve eski kodlar, CapSkip ile sanki o servisle konuşuyormuş gibi iletişim kurabilir; böylece hiç değişmeden çalışır ve kredi satın almayı bırakır.

Taramaya başlamadan önce gerçek bir CAPTCHA çözümünü izleyin

Canlı bir taramayı CapSkip üzerinden göndermeden önce demo sayfalarımızda deneyin. Her birinde gerçek bir CAPTCHA bulunur; böylece bir doğrulamanın kendi makinenizde çözüldüğünü önce kendi gözünüzle görürsünüz.

Üç adımda kurulumdan engelsiz taramaya

  1. Scraping makinenize CapSkip kurun

    Crawler'larınızın zaten çalıştığı Windows makineye kurun ya da ağdaki her scraper'ın erişebileceği ayrı bir makine ayırın. Windows yükleyicisini indirin

  2. Taramanızın boyutuna uygun planı seçin

    Aynı anda kaç makinenin çözüm yapmasını istediğinize göre bir paket seçin; uygulamanın giriş bilgileri e-postayla gelir. Önce kendi hedeflerinizde test etmek mi istersiniz? Kart gerektirmeyen denemeyle başlayın. Ücretsiz denemenizi alın

  3. Spider kodlarınızı uygulamaya yönlendirin

    SDK'yı crawler'ınıza ekleyin, 2Captcha tabanlı bir aracı uygulama içinden CapSkip'e devredin ya da tarayıcı oturumlarında işi uzantıya bırakın; ardından eskiden takılan bir işi yeniden çalıştırın. SDK’lara göz atın

CapSkip ile çözüm başına ücretli CAPTCHA servisleri: scraping karşılaştırması

Hiçbir çözüm tek tek sayılmadığında taramanızda neler değiştiğine bakın.

ÖzellikCapSkipÇözüm başına API'ler
Tarama büyüdükçe maliyetKaç sayfa tararsanız tarayın tek aylık fiyatDoğrulama çıkaran her sayfayla birlikte artar
Daha fazla worker çalıştırmakThread sınırı yok: donanım tam yüke ulaşana kadar büyütünHer ek worker bakiyeyi daha hızlı tüketir
Başarısız sayfalar ve yeniden denemelerEk ücret ödemeden dilediğiniz kadar yeniden çalıştırınHer yeniden deneme ilk deneme kadar ücretlidir
Çözümün yapıldığı yerKendi scraping makinenizde veya VPS sunucunuzdaUzak sunucularda, her doğrulamada fazladan bir ağ atlaması
Bekleme süresiGörsel CAPTCHA için yaklaşık 0,1 sn, diğerlerinde ortak kuyruk yokAğ üzerinden bir yolculuk, üstüne ortak kuyrukta bekleme
Hedeflerinizi kim görürHiç kimse: URL ve sayfalar donanımınızda kalırServis, gönderdiğiniz URL ve görselleri teslim alır
Altyapınıza uyumResmi SDK kütüphaneleri, tarayıcı uzantısı ve 2Captcha uyumlu araçlarHer sağlayıcı için ayrı bir istemci

Fiyatlandırma

Çözüm başına ödemeye son

Lisansınızı seçin

Bronze Lisansı

$35/ ay

Bronze aboneliği al

Anında lisans aktivasyonu

Aylık faturalandırılır. Hesabınızdan istediğiniz zaman iptal edebilirsiniz.

Özellikler aynı. Daha çok makine, daha çok kapasite.

Her makine, kendi işlemcisi ve belleğinin izin verdiği kadar hızlı çözer. Daha çok makine aynı anda daha çok iş parçacığı çalıştırır; Silver aynı anda iki kat, Gold üç kat CAPTCHA çözer.

  • Sınırsız çözüm, günlük limit yok
  • Sınırsız iş parçacığı, hız donanımınızla ölçeklenir
  • %90 ila %100 tanıma doğruluğu
  • Başlıca çözüm servisi API'lerinin doğrudan yerine geçer
  • Neredeyse her araçla çalışır, kod yazmaya gerek yok
  • REST API, SDK'lar ve bir tarayıcı eklentisi
  • Yeni bir CAPTCHA türü çıktığında ücretsiz eğitim
  • Kendi makinenizde çalışır, hiçbir şey dışarı çıkmaz

Yukarıda gösterilen her CAPTCHA türü her lisansta vardır. Kapsam bölümüne git

Sadece önce denemek mi istiyorsunuz?

3 günlük ücretsiz bir denemeyle başlayın ve kendi hedeflerinizde her türden 500 CAPTCHA çözün.

Ücretsiz denemeyi başlatın

Web scraping sırasında sayfa başına ödeme yapmadan CAPTCHA nasıl atlatılır

CAPTCHA'lar bir scraping işini nadiren gürültüyle bozar. Çoğu zaman saatlerdir çalışan bir crawler ürün listeleri yerine doğrulama sayfaları almaya başlar, bunları veriymiş gibi kaydeder ve rapor yarı boş çıkana kadar kimse fark etmez. Siteler bu kontrolleri trafik otomatik göründüğünde gösterir: tek bir adresten gelen çok sayıda istek, hiç değişmeyen bir ritim ya da insan gibi davranmayan bir tarayıcı. Tarama ne kadar büyük ve hızlıysa bu o kadar sık yaşanır.

Çözüm başına fiyatlandırma ile scraping'in bir türlü bağdaşmamasının nedeni budur. Her bin çözüm için ücret kesen bir servis, her yeni kategoriyi, her ek ülkeyi ve her yeniden çalıştırmayı daha büyük bir faturaya dönüştürür. Ekipler sonunda bütçeyi korumak için taramaları yavaşlatır; bu da bir veri hattının ihtiyacının tam tersidir.

Sabit fiyatlı bir abonelik bu ikilemi ortadan kaldırır. CapSkip bu ay yüz doğrulama da çözse birkaç milyon da çözse aynı tutar; thread'ler hiçbir zaman plana göre kısıtlanmaz, yani eşzamanlılığınızı fatura değil makine belirler. Tek makine yetmediğinde Silver ikinci, Gold üçüncü makineyi ekler.

Mevcut scraping altyapınıza da kolayca yerleşir. Scrapy spider'ları ve özel betikler resmi kütüphaneleri kullanır; Selenium, Playwright veya Puppeteer ile tarayıcı üzerinden yürütülen taramalar uzantıdan ya da bir kütüphane çağrısından yararlanabilir; 2Captcha tarzı servisler için yazılmış araçlar ise uygulama içinden geçiş yapar. Proxy'ler doğrulama oranını düşük tutarak kendi görevlerini sürdürür; CapSkip de aradan sızan her şeyi halleder.

İlgili rehberler: Scrapy için CAPTCHA middleware · CAPTCHA proxy rotasyonu · HTTP 429 Too Many Requests hatası

CAPTCHA çözücüyle web scraping yapmak yasal mı?
Bu, çözücüye değil taramaya bağlıdır. Neyi topladığınız, onu nasıl kullandığınız, her sitenin kullanım koşulları ve faaliyet gösterdiğiniz yerdeki yasalar bir işin izinli olup olmadığını belirler. CapSkip kendi otomasyonunuz ve veri toplama işleriniz için bir araçtır; belirli bir taramanın izinli olduğundan emin olmak sizin sorumluluğunuzdadır, bu yüzden ölçeği büyütmeden önce kontrol edin.
Büyük bir tarama için hangi plan uygun: Bronze, Silver mı Gold mu?
Üçü de sınırsız çözüm sunar ve aynı CAPTCHA türlerini kapsar; aralarındaki fark, CapSkip'in kaç makinede çalışabileceğidir. Bronze (aylık $35) bir cihaz, Silver ($60) iki, Gold ($75) üç cihaz içerir; yani Silver aynı anda işlenen doğrulama sayısını ikiye, Gold ise üçe katlar. Tek makineyle başlayın, tarama ona sığmaz olunca yenilerini ekleyin.
Scraper'lar genellikle hangi CAPTCHA'larla karşılaşır ve CapSkip bunları çözer mi?
Taramalar en sık Google'ın reCAPTCHA'sı (v2, v3 veya Enterprise sürümü), Cloudflare'in Turnstile kontrolü ve eski tip görsel ya da metin CAPTCHA'larıyla karşılaşır; CapSkip bunların hepsini çözer. Bunlara ek olarak ALTCHA, GeeTest v3 kaydırıcısı, CaptchaFox, Friendly Captcha, Capy Puzzle yapboz parçasını, AWS WAF CAPTCHA'yı, DataDome'u ve MTCaptcha'yı da kapsar. hCaptcha'yı da çözer. Çözemediği türler Arkose (FunCaptcha), reCAPTCHA Mobile ve daha yeni GeeTest v4'tür; bu yüzden bu hedefleri dışarıda bırakın ya da etraflarından dolaşın.
CAPTCHA'ları CapSkip hallederken yine de proxy gerekir mi?
Evet, çünkü ikisi farklı işler görür. İyi proxy'ler ve makul bir istek hızı, bir sitenin size ne sıklıkla doğrulama göstereceğini belirler; CapSkip ise yine de çıkan doğrulamaları çözer. reCAPTCHA ve Turnstile için crawler'ınızın kullandığı havuzun aynısı üzerinden çözün ki token, onu gönderen adresle eşleşsin. Fazladan doğrulama tetikleyen gürültülü bir havuz size hiçbir ek maliyet getirmez.
Mevcut scraper kodum CapSkip ile çalışır mı?
Büyük olasılıkla evet. Scraper'ınız zaten 2Captcha, Anti-Captcha, CapSolver ya da CapSkip'in yerini alabildiği diğer altı servisten biriyle konuşuyorsa, CapSkip'i o servise geçirirsiniz ve kodunuz olduğu gibi kalır. Bundan sonra yazacağınız spider'lar bunun yerine resmi bir kütüphane kullanabilir; gerçek bir tarayıcı üzerinden yürütülen taramalar ise uzantıdan yararlanabilir.
Bir tarama binlerce doğrulamayla karşılaştığında ne kadar hızlıdır?
Her görsel CAPTCHA yaklaşık 0,1 saniyede çözülür. Tarayıcıda çözülen türler daha uzun sürer: reCAPTCHA ve Turnstile genellikle 3 ila 10 saniyede, GeeTest ise 7 ila 12 saniyede tamamlanır. Hiçbir şey ortak bir kuyrukta beklemez ve hiçbir plan thread sayısını sınırlamaz; bu yüzden daha güçlü bir CPU ve daha fazla RAM doğrudan saatte daha fazla sayfa demektir. Tarayıcı ağırlıklı taramalar en iyi 32 GB veya daha fazla belleğe sahip bir makinede çalışır.
Hangi siteleri taradığımı başka biri görür mü?
Hayır. Tanıma işlemi uzak bir çözüm çiftliğinde değil, size ait bir bilgisayarda veya sunucuda çalışır; böylece hedef URL'ler, sayfa görselleri ve sonuçlar kontrolünüzdeki donanımda kalır. Rekabet avantajı izlediği site listesi olan ekipler için bu gizlilik çoğu zaman sabit fiyat kadar değerlidir.
Scraper'ım hiç tarayıcı açmıyor. Yine de doğrulamayı geçebilir mi?
Evet. CapSkip gereken tarayıcı işini kendi tarafında yapar ve hafif bir scraper'ın formla birlikte göndermesi yeterli olan bir token döndürür; görsel CAPTCHA'lar için de resmin kendisinden başka bir şey gerekmez. Yine de bir site içeriğini ancak doğrulama geçildikten sonra tarayıcı içinde oluşturuyorsa, kendi tarayıcınızın olması işinize yarar.

Taramanız büyüsün, CAPTCHA faturası büyümesin

CapSkip'i scraper'larınızın yanına kurun ve çözümleri saymayı bırakın. Sayfalar, yeniden denemeler ve ek thread'ler, iş ne kadar büyürse büyüsün sabit kalan tek bir aylık ücrete dahildir.