Scrapy’de Tek Bir Satır İçi İstekle ALTCHA Nasıl Çözülür

Scrapy ile ALTCHA çözmek için challenge adresini altcha-widget öğesinden okuyun, aynı callback içinden bir satır içi istekle (inline request) çekin, JSON’u AsyncCapSkip’in altcha metoduna verin ve formu, token’ı widget’ın adlandırdığı alana (varsayılan olarak altcha) koyarak gönderin. ALTCHA bir resim değil, iş kanıtıdır; dolayısıyla bunların hiçbiri tarayıcı gerektirmez ve düz bir Scrapy spider’ı yeterlidir. Scrapy’ye özgü tek tuzağı gözden kaçırmak kolaydır: bir challenge uç noktası her seferinde aynı URL’de yeni bir belge döndürür ve Scrapy’nin yinelenen istek filtresi (duplicate filter) ona giden ikinci isteği sessizce düşürür. Bu rehber widget’ı, çekme işlemini, çözümü ve gönderimi, çalıştırabileceğiniz bir spider ile birlikte ele alıyor.

Neye ihtiyacınız var

• Aşağıda kullanılan satır içi istek metodu için Scrapy 2.14 veya üzeri. Scrapy, 2.13’ten beri varsayılan olarak asyncio reaktörü üzerinde çalışır ve bir callback’in async istemciyi await edebilmesini sağlayan da budur. Daha eski sürümleri sona yakın bir bölüm ele alıyor.
• capskip Python paketinin 1.2.0 veya üzeri bir sürümü (altcha metodunu ekleyen sürüm budur) ve bir Windows makinesinde çalışan CapSkip 1.3.0 veya üzeri.
• Scrapy’nin artık form gönderimlerini oluşturmak için önerdiği form2request paketi.
• Formun bulunduğu sayfa. Challenge dahil geri kalan her şey o sayfadan gelir; nereden geldiğini 1. adım gösteriyor.
• Çözücü için bir adres. Local modu 127.0.0.1 üzerinden yalnızca o cihaza yanıt verir; Server modu ise ağ adresinizi veya genel IP’nizi dinler, böylece başka bir makinedeki bir crawler onu API üzerinden çağırabilir. İkisi de bağlantı ayarları bölümünde yer alır; ne zaman geçiş yapmanız gerektiğini aşağıda ayrı bir başlık anlatıyor.

# pip install scrapy capskip form2request
pip install scrapy capskip form2request

1. Adım: challenge’ı widget’tan okuyun

ALTCHA’nın sitekey’i yoktur. Scrapy ile ALTCHA çözmek için ihtiyacınız olan şey challenge’ın kendisi ya da geldiği adrestir ve widget öğesi bunlardan birini taşır. Onu hangi özniteliğin tuttuğu widget nesline bağlıdır, bu yüzden üçünü de okuyun.

# Inside a spider callback; response is the page with the form.
widget = response.css("altcha-widget")
source = (widget.attrib.get("challenge")
          or widget.attrib.get("challengejson")
          or widget.attrib.get("challengeurl"))

# The token goes in a field named by the widget, altcha by default.
field = widget.attrib.get("name", "altcha")

# A v3 challenge or a v1/v2 challengejson carries the document inline.
inline = source.lstrip().startswith("{")

name özniteliğini de not edin. Widget payload’ını bu adı taşıyan gizli bir input’a yazar; varsayılanı altcha’dır, ancak site bunu değiştirebilir. Onu okumak tek satıra mal olur ve gerçek alanı sessizce boş bırakan bir gönderimi önler. Bazı kurulumlar challenge’ı bir uç noktadan sunmak yerine sayfanın kendi script’inde üretir ve bu durumda okunacak bir öznitelik yoktur. Hangisiyle karşı karşıya olduğunuzu Network sekmesi gösterir.

2. Adım: challenge’ı callback içinde çekin

Widget bir uç noktayı gösteriyorsa onu, zaten içinde bulunduğunuz callback’ten engine’in download_async metoduyla çekin. Scrapy dokümantasyonu bu yöntemi satır içi istekler (inline requests) başlığı altında anlatır. İstek downloader middleware’lerinden geçer, dolayısıyla spider’ın cookie jar’ı, user agent’ı ve proxy ayarları, sayfaya uygulandığı gibi bu isteğe de uygulanır. Scheduler’dan ise geçmez ve bütün mesele de budur.

# The page's jar and proxy; no scheduler, no dupefilter.
meta = {"dont_cache": True, "allow_offsite": True}
for key in ("cookiejar", "proxy"):
    if key in response.meta:
        meta[key] = response.meta[key]
reply = await self.crawler.engine.download_async(
    scrapy.Request(response.urljoin(source), meta=meta,
                   headers={"Referer": response.url})
)
if reply.status != 200:
    raise ValueError(f"challenge endpoint answered {reply.status}")
challenge_json = reply.text

Scheduler’ı atlamanın önemi şuradan gelir. Akla ilk gelen alternatif, yani challenge için kendi callback’i olan bir Request yield etmek, ilk formda çalışır ve ikincisini kaybeder. Uç noktanın her çekilişi yeni bir challenge döndürür, ancak URL hiç değişmez; bu yüzden Scrapy’nin yinelenen istek filtresi ikinci isteği daha önce yapılmış bir istek sayar ve atar. Hiçbir hata oluşmaz. Filtre attığı ilk isteği debug seviyesinde bir kez loglar, tarama istatistiklerinde bir sayacı artırır ve arkasındaki form basitçe hiç gönderilmez. Satır içi istek ise filtreye hiç ulaşmaz.

O bloğun geri kalanı, normalde scheduler’ın sizin yerinize hallettiği ayrıntıları kapsar. İstek başına durum kendiliğinden aktarılmaz; bu yüzden döngü, sayfa bir cookiejar veya proxy anahtarıyla çekildiyse bu anahtarı sayfanın meta sözlüğünden kopyalar. Referer başlığı elle ayarlanır, çünkü onu ekleyen middleware spider tarafında çalışır. Challenge uç noktası başka bir alan adındaysa (örneğin barındırılan bir ALTCHA servisi) ve spider allowed_domains ayarlıyorsa offsite filtresi çekme işlemini engeller; allow_offsite bu tek isteğin geçmesine izin verir. Durum kontrolü, uç noktadan gelen bir 403 burada sıradan bir yanıt olarak döndüğü için vardır: hata durumlarını başarısızlığa çeviren middleware spider tarafında çalışır ve satır içi bir istek o tarafı atlar. dont_cache ise, açtıysanız Scrapy’nin HTTP önbelleğini challenge isteğinden uzak tutar. Önbelleğe alınmış bir challenge, süresi dolmuş bir challenge demektir ve CapSkip, sitenin reddedeceği bir token için CPU harcamak yerine süresi dolmuş satır içi bir challenge’ı hemen reddeder. Bu bayrak olmadan ikinci bir çalıştırma, uç noktayı paylaşan her sayfaya aynı saklanmış challenge’ı verir. Aynı mantık form sayfası için de geçerlidir. Önbelleğe alınmış bir sayfa eski bir anti-forgery token’ını ve oturum çerezini, satır içi challenge varsa eski bir challenge’ı da yeniden oynatır; dolayısıyla önbellek açıksa form sayfalarına da dont_cache koyun ya da bu spider için önbelleği kapalı tutun.

Bunun yerine uç noktayı challenge_url olarak geçirip challenge’ı CapSkip’in kendisinin çekmesine de izin verebilirsiniz. Herkese açık bir uç nokta için bu sorun değildir. Ancak CapSkip’in yaptığı çekme işlemi spider’ınızın çerezlerinden hiçbirini taşımaz ve bazı siteler challenge’ı yalnızca formu yükleyen oturuma verir. Scrapy üzerinden çekmek, baştan sona tek bir oturum korur.

3. Adım: taramayı bloklamadan çözün

AsyncCapSkip kullanın ve callback’i async def yapın. Python paketinde bu sınıf bir takma ad değil, gerçek bir asyncio istemcisidir; dolayısıyla onu await etmek, çözüm sürerken kontrolü Scrapy’ye geri verir ve diğer tüm istekler ilerlemeye devam eder. Senkron CapSkip sınıfı ise her çözüm boyunca tüm taramayı durdururdu; bu sorun şurada ayrıntılı olarak açıklanıyor: Scrapy CAPTCHA middleware rehberi.

from capskip import AsyncCapSkip

solver = AsyncCapSkip(host="127.0.0.1", port=8080)

# Pass the document exactly as the endpoint sent it.
result = await solver.altcha(url=response.url, challenge_json=challenge_json)

token = result["token"]   # base64 payload for the form field

Challenge satır içi olarak iletildiği için CapSkip hiçbir ağ isteği yapmaz. Cevabı bulana kadar hash hesaplar, bu genellikle milisaniyeler sürer; istemci de hemen ve çeyrek saniye sonra bir kez daha yoklar, dolayısıyla tipik bir çözüm yaklaşık çeyrek saniyede döner. Çağrı en fazla defaultTimeout kadar, yani 120 saniye bekler, çünkü bu bir tarayıcı oturumu değil CPU işidir. İki challenge algoritması, Argon2id ve scrypt, denenmek yerine reddedilir ve bu ret bir saniyeden kısa sürede bir ApiException olarak gelir. ALTCHA’nın önerdiği varsayılan dahil, daha yaygın olan PBKDF2 ve SHA şemaları desteklenir.

Yanıtın metnini geldiği gibi geçirin; ayrıştırmanıza gerek yok. Değişmemesi gereken şey token’dır: token, alanları sitenin sunucusu tarafından imzalanmış bir JSON belgesinin base64 hâlidir; dolayısıyla kırpılmış, çözülmüş ya da yeniden kodlanmış bir token doğrulamadan geçemez.

4. Adım: formu token ile gönderin

Widget’ın doldurduğu gizli input, Scrapy’nin indirdiği HTML’de yoktur. Widget onu bir tarayıcıda, kendisi çalıştıktan sonra oluşturur; dolayısıyla sunulan HTML’i okuyan hiçbir şey onu bulamaz. Onu 1. adımdaki adla kendiniz ekleyin. Örnek, gönderimi Scrapy’nin FormRequest.from_response yerine önerdiği form2request ile oluşturur: Scrapy 2.16’dan beri bu eski metot her çağrıda bir kullanımdan kaldırma uyarısı (deprecation warning) loglar.

from form2request import form2request

form = response.xpath("//form[.//altcha-widget]")
data = {"email": "[email protected]", field: token}
yield form2request(form, data).to_scrapy(
    callback=self.after_submit,
    priority=10,
    meta={"handle_httpstatus_all": True},
)

form2request, sayfanın forma zaten koyduğu anti-forgery token’ı gibi değerleri korur ve ilk gönder düğmesine basar; böylece istek, bir tarayıcının göndereceği isteğe benzer. XPath, widget’ı içeren formu seçer; bu, bir arama kutusu da taşıyan sayfalarda önemlidir. handle_httpstatus_all, callback’in reddedilen bir gönderimi görmesini sağlar; aksi hâlde Scrapy bu yanıtı callback’e ulaşmadan düşürürdü. Öncelik artışı, gönderimi scheduler’da hâlâ bekleyen her şeyin önüne geçirir, çünkü challenge’ların süresi dolar. Bazı pencereler topu topu iki dakikadır ve uzun bir taramanın arkasında bekleyen bir token daha gönderilmeden süresi dolabilir.

Her token’ı tek bir gönderim için geçerli sayın. Site formu reddederse aynı isteği yeniden denemek yerine yeni bir challenge ile 2. adımdan yeniden başlayın. Bazı entegrasyonlar payload’ı bir form alanı yerine bir JSON gövdesinde ya da bir çerezde gönderir; bu yüzden DevTools açıkken formu bir kez elle gönderin ve sayfanın gönderdiğini birebir taklit edin.

Çözücüyü başka bir yerde çalıştırmak

Örnekler 127.0.0.1 kullanıyor, çünkü spider ile CapSkip aynı makinedeyken doğru adres budur. Başka bir makinedeki Scrapyd’ye, bir VPS’e ya da barındırılan bir Scrapy platformuna dağıtılmış bir crawler için loopback kendisini gösterir ve ilk çözüm bir NetworkException fırlatır. CapSkip’i Server moduna alın; o zaman ağ adresinizi veya genel IP’nizi dinler, böylece spider izin verdiğiniz her yerden ona API üzerinden ulaşabilir. Rota internetten geçiyorsa statik bir genel IP kullanın, API anahtarı doğrulamasını açın ve bir Windows Firewall kuralıyla portu yalnızca beklediğiniz adreslerle sınırlayın. Bu hâlâ sizin kendi Windows makinenizdir ve çözüm başına ücretlendirme hâlâ yoktur.

İstemci ortam değişkenlerini kendiliğinden okumaz. Tam örnekte olduğu gibi CAPSKIP_HOST ve CAPSKIP_API_KEY değerlerini spider içinde okuyup constructor’a verin; böylece aynı kod hem masanızda hem de sunucuda çalışır.

Tam çalışan örnek

# pip install scrapy capskip form2request
import os

import scrapy
from capskip import AsyncCapSkip, CapSkipError
from form2request import form2request


class SignupSpider(scrapy.Spider):
    name = "signup"
    start_urls = ["https://example.com/signup"]

    solver = AsyncCapSkip(
        apiKey=os.environ.get("CAPSKIP_API_KEY", "capskip"),
        host=os.environ.get("CAPSKIP_HOST", "127.0.0.1"),
        port=8080,
    )

    async def parse(self, response):
        widget = response.css("altcha-widget")
        source = (widget.attrib.get("challenge")
                  or widget.attrib.get("challengejson")
                  or widget.attrib.get("challengeurl"))
        if not source:
            self.logger.warning("no ALTCHA challenge on %s", response.url)
            return
        field = widget.attrib.get("name", "altcha")

        if source.lstrip().startswith("{"):
            challenge_json = source
        else:
            # Inline request: the page's jar and proxy, no dupefilter.
            meta = {"dont_cache": True, "allow_offsite": True}
            for key in ("cookiejar", "proxy"):
                if key in response.meta:
                    meta[key] = response.meta[key]
            reply = await self.crawler.engine.download_async(
                scrapy.Request(response.urljoin(source), meta=meta,
                               headers={"Referer": response.url})
            )
            if reply.status != 200:
                self.logger.error("challenge endpoint answered %s", reply.status)
                return
            challenge_json = reply.text

        try:
            result = await self.solver.altcha(
                url=response.url, challenge_json=challenge_json)
        except CapSkipError as exc:
            # Expired challenge, unsupported algorithm, or CapSkip unreachable.
            self.logger.error("ALTCHA not solved on %s: %r", response.url, exc)
            return

        form = response.xpath("//form[.//altcha-widget]")
        data = {"email": "[email protected]", field: result["token"]}
        yield form2request(form, data).to_scrapy(
            callback=self.after_submit,
            priority=10,
            meta={"handle_httpstatus_all": True},
        )

    def after_submit(self, response):
        yield {"url": response.url, "status": response.status}

Onu scrapy runspider ve dosya adıyla çalıştırın ya da sınıfı bir projeye bırakın. Spider iki widget neslini de işler, challenge’ı sayfanın oturumu içinde çeker ve gönderilen her form için, ret yanıtları dahil, sitenin döndürdüğü durum koduyla birlikte bir item yield eder. Challenge çekme işlemi scheduler’ı atladığı için aynı challenge uç noktasını paylaşan sayfaların her biri kendi challenge’ını alır. altcha metodunun arkasındaki ham uç nokta şurada belgelenmiştir: API referansı. Scrapy olmadan yapılan düz Python çağrısı ise şurada ele alınıyor: Python ALTCHA rehberi.

2.14’ten eski Scrapy sürümlerinde

2.14’ten önce download_async yoktur, ancak Scrapy 2.6’dan itibaren aynı satır içi çekme işlemi engine.download ile çalışır; sonucu, bir coroutine’in bekleyebileceği bir şeye dönüştüren bir yardımcı fonksiyonla await edilir.

from scrapy.utils.defer import maybe_deferred_to_future

# Scrapy 2.6 to 2.13: the same inline fetch, through engine.download.
reply = await maybe_deferred_to_future(self.crawler.engine.download(
    scrapy.Request(response.urljoin(source),
                   meta={"dont_cache": True, "allow_offsite": True})
))

Bu sürümlerde FormRequest.from_response gönderimi uyarı vermeden oluşturur, dolayısıyla onu form2request yerine kullanabilirsiniz: aynı XPath ifadesini formxpath olarak geçirin ve token’ı formdata içine koyun. Bunun yerine challenge’ı kendi callback’i olan sıradan bir istek olarak scheduler üzerinden gönderirseniz, o istekte dont_filter ayarlayın; aksi hâlde yinelenen istek filtresi ilkinden sonraki her çekme isteğini düşürür.

2.13’ten eski bir Scrapy’de AsyncCapSkip ayrıca settings.py içinde TWISTED_REACTOR değerinin asyncio reaktörüne ayarlanmasını gerektirir. Scrapy 2.7’den beri oluşturulan projelerde bu satır zaten vardır.

Sık görülen hatalar ve anlamları

FAQ

Kısa özet

Scrapy ile ALTCHA çözmek için altcha-widget öğesinden challenge, challengejson veya challengeurl özniteliğini ve name özniteliğini okuyun. Challenge’ı download_async ve dont_cache ile çekin; böylece spider’ın oturumunu kullanır ve yinelenen istek filtresiyle hiç karşılaşmaz. AsyncCapSkip’in altcha metodunu, JSON’u geldiği gibi vererek await edin ve token’ı verisinde taşıyan, önceliği yükseltilmiş bir form2request gönderimi yield edin. Tek challenge, tek token, tek gönderim; spider başka bir yerde çalışıyorsa da Server modu.

• ALTCHA’nın nasıl çalıştığı ve çözücünün neleri kapsadığı: ALTCHA çözücü sayfası.
• Tüm bir scraping yığınında CAPTCHA yönetimi: web scraping çözücü sayfası.
• Python paketinin sunduğu tüm metotlar: Python CAPTCHA çözücü sayfası.

Hacimle ilgili son bir nokta. Binlerce form gönderen bir crawler binlerce challenge çözer ve kendi makinenizde çalışan bir captcha çözücü ile bunun maliyeti çözüm başına bir ücret değil, CPU zamanıdır.