वेब स्क्रैपिंग

वेब स्क्रैपिंग और Scrapy क्रॉलर के लिए कैप्चा सॉल्वर

अपने क्रॉलर, प्राइस मॉनिटर और लीड स्क्रैपर को reCAPTCHA, Cloudflare Turnstile और इमेज जाँचों के पार बिना रुके चलाते रहें। CapSkip इन्हें आपके अपने हार्डवेयर पर हल करता है, ऐसी मासिक कीमत पर जिसे इससे कोई फ़र्क नहीं पड़ता कि क्रॉल कितना बड़ा हो जाए।

Windows x64·लोकल रूप से चलता है, इसलिए कोई कैप्चा आपकी मशीन से बाहर नहीं जाता
  • एक बिल, क्रॉल चाहे जितना बड़ा
  • असीमित threads
  • टारगेट आपके PC पर ही रहते हैं
हर महीने कैप्चा40,000
40.0k250.0k
कहीं और metered, लगभग $1.40 per 1,000$56.00
CapSkip Bronze, फिक्स्ड कीमत$35.00
$21.00आपकी जेब में रहता हैहर महीने, इस volume पर

वेब स्क्रैपिंग के लिए कैप्चा सॉल्वर की असली कीमत उसी पल समझ आती है, जब घंटों से बिना रुकावट चल रहा कोई क्रॉलर चैलेंज की दीवार से टकराता है और खाली पेज सेव करने लगता है। CapSkip, reCAPTCHA, Cloudflare Turnstile, GeeTest v3, इमेज कैप्चा और कई दूसरे कैप्चा आपकी अपनी चलाई Windows मशीन पर हल करता है, चाहे वह ऑफ़िस का डेस्कटॉप हो या किराए का VPS, और जवाब सीधे वापस सौंप देता है, ताकि आपके स्पाइडर अटकने के बजाय डेटा जुटाते रहें।

प्राइस मॉनिटरिंग, लीड जनरेशन और SEO क्रॉल, सभी प्रति-हल सेवाओं के साथ एक ही समस्या से टकराते हैं: बिल क्रॉल के साथ-साथ बढ़ता है। दोगुने पेज का मतलब है लगभग दोगुने चैलेंज, ऊपर से हर दोबारा कोशिश, और इनवॉइस में कैप्चा हल करने वाली लाइन प्रॉक्सी के खर्च से भी बड़ी हो सकती है। CapSkip में न क्रेडिट हैं, न मीटर। एक मशीन पर सदस्यता $35 प्रति माह की है, असीमित हल कवर करती है, और वह मशीन जितने थ्रेड संभाल सके, उतने चलाने देती है।

यह उस स्टैक में भी फ़िट बैठता है जिससे आप पहले से स्क्रैपिंग करते हैं। Scrapy प्रोजेक्ट, Selenium, Playwright और Puppeteer स्क्रिप्ट, और 2Captcha या Anti-Captcha पर बने टूल, सभी अपने चैलेंज CapSkip को सौंप सकते हैं, ज़्यादातर बिना कोड दोबारा लिखे। चूँकि हर हल आपके हार्डवेयर पर होता है, आप जिन साइटों को क्रॉल करते हैं उनकी सूची कभी आपके नेटवर्क से बाहर नहीं जाती, और जब वही सूची आपका कारोबार हो, तो यह बहुत मायने रखता है।

क्रॉल दोगुना करें, बिल वही रखें। जब कोई जॉब दस हज़ार पेज से बढ़कर दस लाख पेज तक पहुँचता है, तो चैलेंज भी उसके साथ बढ़ते हैं, लेकिन आपकी CapSkip कीमत नहीं बढ़ती। स्पाइडर जोड़ें, कंकरेंसी बढ़ाएँ और फ़ेल हुए पेज जितनी बार ज़रूरत हो दोबारा चलाएँ: कुछ भी गिना नहीं जाता, इसलिए किसी चीज़ का शुल्क नहीं लगता। तीनों प्लान देखें

बड़े क्रॉल के लिए बना वेब स्क्रैपिंग कैप्चा सॉल्वर

क्रॉल बढ़ता जाए, बिल वहीं का वहीं

ज़्यादा पेज, ज़्यादा चैलेंज, ज़्यादा दोबारा कोशिशें: इनमें से कुछ भी आपका भुगतान नहीं बदलता। एक मासिक सदस्यता उन सभी कैप्चा को कवर करती है जो आपके स्पाइडर के सामने आते हैं, चाहे जॉब हफ़्ते में एक बार चले या चौबीसों घंटे।

कंकरेंसी हार्डवेयर तय करता है, प्लान नहीं

कोई भी प्लान थ्रेड पर सीमा नहीं लगाता। आपका हर स्पाइडर, वर्कर और कंटेनर एक ही समय में उसी CapSkip मशीन को चैलेंज भेज सकता है, और थ्रूपुट बस उस मशीन के प्रोसेसर और मेमोरी के हिसाब से चलता है।

उन्हीं प्रॉक्सी से हल, जिनसे आप क्रॉल करते हैं

हर reCAPTCHA या Turnstile जॉब को उसी प्रॉक्सी से भेजें जो आपका क्रॉलर पहले से इस्तेमाल करता है, ताकि हल किया गया पास उसी पते से आए जो उसे सबमिट करेगा। इमेज कैप्चा को किसी प्रॉक्सी की ज़रूरत ही नहीं होती।

हल्के स्क्रैपर को ब्राउज़र की ज़रूरत नहीं

जो स्क्रैपर कभी ब्राउज़र नहीं खोलते, वे भी आगे निकल सकते हैं। CapSkip ब्राउज़र वाला काम अपनी तरफ़ खुद करता है और एक पास लौटाता है, जिसे आपका स्क्रैपर फ़ॉर्म के साथ सबमिट कर देता है।

मौजूदा क्रॉलर कोड जैसे का तैसा चलता है

क्या आपका क्रॉलर बरसों से अपने कैप्चा CapSolver या Anti-Captcha को भेजता आ रहा है? कोड को हाथ न लगाएँ। CapSkip विंडो में उसी सेवा को चुनें, और हर जॉब का जवाब लोकल रूप से मिलेगा।

आपकी टारगेट सूची निजी रहती है

रिमोट सॉल्विंग सेवा तक आपका भेजा हर URL और हर इमेज पहुँचता है। CapSkip यह काम आपकी अपनी मशीन पर ही रखता है, यानी किसी बाहरी वेंडर को कभी पता नहीं चलता कि आप किन साइटों पर नज़र रखते हैं।

CapSkip को अपने स्क्रैपिंग के तरीके से जोड़ें

Python
# pip install capskip
from capskip import CapSkip
import requests

solver = CapSkip(host="127.0.0.1", port=8080)
session = requests.Session()

# The search results are behind a reCAPTCHA, so solve it first.
token = solver.recaptcha(
    sitekey="YOUR_SITEKEY",
    url="https://example.com/search",
)["code"]

page = session.post(
    "https://example.com/search",
    data={"q": "widgets", "g-recaptcha-response": token},
)

print(page.status_code, len(page.text))

इस उदाहरण में एक सर्च फ़ॉर्म reCAPTCHA के पीछे छिपा है; लोकल CapSkip ऐप उसे हल करता है, स्क्रैपर जवाब पोस्ट करता है और नतीजे जुटाता रहता है।

ब्राउज़र से स्क्रैपिंग के लिए एक्सटेंशन

किसी खुली Chrome या Firefox विंडो में डेटा जुटा रहे हैं? ऐड-ऑन इंस्टॉल करें, CapSkip ऐप को बैकग्राउंड में चलता छोड़ दें, और हर पेज के चैलेंज बिना एक भी लाइन कोड लिखे हल हो जाएँगे।

कस्टम स्पाइडर के लिए SDK

Python या Node.js में अपना स्पाइडर लिख रहे हैं? आधिकारिक SDK, जिनके PHP और .NET वर्ज़न भी हैं, एक ही कॉल में पास लौटा देते हैं, चाहे Scrapy प्रोजेक्ट के भीतर हो या किसी छोटी स्टैंडअलोन स्क्रिप्ट में।

पहले से चल रहे टूल के लिए लोकल API

2Captcha या Anti-Captcha के लिए लिखे गए स्क्रैपिंग टूल और पुराना कोड CapSkip से ऐसे बात कर सकते हैं मानो वह वही सेवा हो, इसलिए वे बिना बदलाव के चलते हैं और क्रेडिट खरीदना बंद कर देते हैं।

क्रॉल शुरू करने से पहले इसे असली कैप्चा हल करते देखें

प्रोडक्शन क्रॉल को CapSkip से गुज़ारने से पहले इसे हमारे डेमो पेजों पर आज़माएँ। हर पेज पर एक असली कैप्चा है, ताकि आप पहले अपनी ही मशीन पर किसी चैलेंज को हल होते देख सकें।

इंस्टॉल से बिना रुकावट वाले क्रॉल तक, तीन चरणों में

  1. अपनी स्क्रैपिंग मशीन पर CapSkip इंस्टॉल करें

    इसे उस Windows मशीन पर लगाएँ जहाँ आपके क्रॉलर पहले से चलते हैं, या इसे एक अलग मशीन दें जिस तक नेटवर्क का हर स्क्रैपर पहुँच सके। Windows इंस्टॉलर डाउनलोड करें

  2. अपने क्रॉल के आकार का प्लान चुनें

    टियर इस आधार पर चुनें कि आप एक साथ कितनी मशीनों पर हल चलाना चाहते हैं, और ऐप का लॉगिन आपको ईमेल से मिल जाएगा। पहले अपने ही टारगेट पर परखना चाहते हैं? बिना कार्ड वाले ट्रायल से शुरुआत करें। मुफ़्त ट्रायल पाएँ

  3. अपने स्पाइडर को इससे जोड़ें

    अपने क्रॉलर में SDK जोड़ें, ऐप में 2Captcha पर आधारित किसी टूल को CapSkip के हवाले करें, या ब्राउज़र सेशन में एक्सटेंशन को काम करने दें, फिर वह जॉब दोबारा चलाएँ जो पहले अटक जाता था। SDKs देखें

स्क्रैपिंग के लिए CapSkip बनाम प्रति-हल कैप्चा सेवाएँ

जब कोई हल गिना ही न जाए, तब क्रॉल के लिए क्या-क्या बदलता है।

फ़ीचरCapSkipप्रति-हल APIs
क्रॉल बढ़ने पर लागतएक मासिक कीमत, चाहे आप कितने भी पेज स्क्रैप करेंचैलेंज दिखाने वाले हर पेज के साथ बढ़ती जाती है
ज़्यादा वर्कर चलानाथ्रेड की कोई सीमा नहीं: हार्डवेयर पूरा व्यस्त होने तक बढ़ाएँहर अतिरिक्त वर्कर बैलेंस को और तेज़ी से खाली करता है
फ़ेल हुए पेज और दोबारा कोशिशेंबिना अतिरिक्त लागत के जितनी बार चाहें दोबारा चलाएँहर दोबारा कोशिश की कीमत पहली कोशिश जितनी
हल कहाँ होता हैआपकी अपनी स्क्रैपिंग मशीन या VPS पररिमोट सर्वर पर, हर चैलेंज के साथ नेटवर्क का एक और पड़ाव
इंतज़ार का समयइमेज कैप्चा के लिए लगभग 0.1 सेकंड, बाकी के लिए कोई साझा कतार नहींनेटवर्क पर आना-जाना, ऊपर से साझा कतार में इंतज़ार
आपके टारगेट कौन देखता हैकोई नहीं: URL और पेज आपके हार्डवेयर पर ही रहते हैंआपके भेजे URL और इमेज सेवा तक पहुँचते हैं
आपके स्टैक में फ़िट होनाआधिकारिक SDK, ब्राउज़र एक्सटेंशन और 2Captcha के लिए बने टूलहर वेंडर के लिए अलग क्लाइंट

मूल्य निर्धारण

प्रति सॉल्व भुगतान करना बंद करें

अपना लाइसेंस चुनें

Gold लाइसेंस

$75/ माह

Gold की सदस्यता लें

तुरंत लाइसेंस सक्रियण

मासिक बिलिंग। अपने अकाउंट से कभी भी रद्द करें।

फ़ीचर वही। ज़्यादा मशीनें, ज़्यादा थ्रूपुट।

हर मशीन उतनी ही तेज़ी से हल करती है जितना उसका अपना CPU और मेमोरी अनुमति देते हैं। ज़्यादा मशीनें एक साथ ज़्यादा थ्रेड चलाती हैं, इसलिए Silver एक साथ दोगुने कैप्चा हल करता है और Gold तिगुने।

  • असीमित सॉल्विंग, कोई दैनिक सीमा नहीं
  • असीमित थ्रेड, गति आपके हार्डवेयर के साथ बढ़ती है
  • 90% से 100% पहचान सटीकता
  • प्रमुख सॉल्विंग सेवा API का सीधा विकल्प
  • लगभग किसी भी टूल के साथ काम करता है, कोडिंग की ज़रूरत नहीं
  • REST API, SDK और एक ब्राउज़र एक्सटेंशन
  • नया कैप्चा प्रकार आने पर मुफ़्त ट्रेनिंग
  • आपकी अपनी मशीन पर चलता है, कुछ भी बाहर नहीं जाता

ऊपर दिखाया गया हर कैप्चा प्रकार हर लाइसेंस में शामिल है। कवरेज सेक्शन देखें

बस पहले इसे आज़माना चाहते हैं?

एक मुफ़्त 3-दिन के ट्रायल से शुरू करें और अपने खुद के targets पर किसी भी प्रकार के 500 कैप्चा हल करें।

मुफ़्त ट्रायल शुरू करें

प्रति पेज भुगतान किए बिना वेब स्क्रैपिंग में कैप्चा बायपास कैसे करें

कैप्चा शायद ही कभी स्क्रैपिंग जॉब को खुलेआम तोड़ते हैं। ज़्यादातर होता यह है कि घंटों से चल रहा क्रॉलर प्रोडक्ट लिस्टिंग की जगह चैलेंज पेज पाने लगता है, उन्हें ऐसे सेव करता है मानो वे डेटा हों, और किसी का ध्यान तब तक नहीं जाता जब तक रिपोर्ट आधी खाली नहीं निकलती। साइटें ये जाँचें तब दिखाती हैं जब ट्रैफ़िक ऑटोमेटेड लगता है: एक ही पते से ढेरों रिक्वेस्ट, एकदम एक-सी लय, या ऐसा ब्राउज़र जो इंसान की तरह बर्ताव नहीं करता। क्रॉल जितना बड़ा और तेज़ होगा, यह उतनी ही बार होगा।

इसीलिए प्रति-हल कीमत और स्क्रैपिंग का मेल ठीक नहीं बैठता। जो सेवा हर हज़ार हल पर बिल बनाती है, वह हर नई कैटेगरी, हर अतिरिक्त देश और हर दोबारा रन को एक बड़े इनवॉइस में बदल देती है। आखिरकार टीमें बजट बचाने के लिए क्रॉल की रफ़्तार घटा देती हैं, जो किसी डेटा पाइपलाइन की ज़रूरत के ठीक उलट है।

फिक्स्ड सदस्यता यह दुविधा खत्म कर देती है। CapSkip की कीमत एक जैसी रहती है, चाहे वह इस महीने सौ चैलेंज हल करे या दसियों लाख, और प्लान के हिसाब से थ्रेड कभी राशन नहीं किए जाते, इसलिए आपकी कंकरेंसी बिल नहीं, मशीन तय करती है। जब एक मशीन काफ़ी न रहे, तो Silver और Gold दूसरी और तीसरी मशीन जोड़ देते हैं।

यह आपके मौजूदा स्क्रैपिंग स्टैक में भी आसानी से जगह बना लेता है। Scrapy स्पाइडर और कस्टम स्क्रिप्ट आधिकारिक लाइब्रेरी इस्तेमाल करते हैं, Selenium, Playwright या Puppeteer में ब्राउज़र से चलने वाले क्रॉल एक्सटेंशन या लाइब्रेरी कॉल का सहारा ले सकते हैं, और 2Captcha जैसी सेवाओं के लिए लिखे टूल ऐप के भीतर ही स्विच हो जाते हैं। प्रॉक्सी अब भी अपना काम करती हैं, यानी चैलेंज की दर कम रखती हैं; जो चैलेंज फिर भी आ जाते हैं, उन्हें CapSkip संभालता है।

संबंधित गाइड: Scrapy कैप्चा मिडलवेयर · कैप्चा प्रॉक्सी रोटेशन · HTTP 429 Too Many Requests एरर

क्या कैप्चा सॉल्वर के साथ वेब स्क्रैपिंग करना कानूनी है?
यह सॉल्वर पर नहीं, क्रॉल पर निर्भर करता है। आप क्या इकट्ठा करते हैं, उसका इस्तेमाल कैसे करते हैं, हर साइट की शर्तें और जहाँ आप काम करते हैं वहाँ का कानून, ये सब मिलकर तय करते हैं कि कोई जॉब जायज़ है या नहीं। CapSkip आपके अपने ऑटोमेशन और डेटा कलेक्शन का टूल है; किसी खास क्रॉल की अनुमति है या नहीं, यह पक्का करना आपकी ज़िम्मेदारी है, इसलिए बड़े पैमाने पर जाने से पहले जाँच लें।
बड़े क्रॉल के लिए कौन-सा प्लान सही है: Bronze, Silver या Gold?
तीनों बिना किसी सीमा के हल करते हैं और एक जैसे कैप्चा प्रकार कवर करते हैं; फ़र्क सिर्फ़ इतना है कि कितनी मशीनों पर CapSkip चल सकता है। Bronze ($35 प्रति माह) एक डिवाइस के लिए है, Silver ($60) दो के लिए और Gold ($75) तीन के लिए, यानी Silver एक साथ चल रहे चैलेंज की संख्या दोगुनी कर देता है और Gold तिगुनी। एक मशीन से शुरुआत करें और जब क्रॉल उससे बड़ा हो जाए, तो और मशीनें जोड़ें।
स्क्रैपर को आम तौर पर कौन-से कैप्चा मिलते हैं, और क्या CapSkip उन्हें हल करता है?
क्रॉल के सामने सबसे ज़्यादा Google का reCAPTCHA (चाहे v2 हो, v3 या Enterprise एडिशन), Cloudflare की Turnstile जाँच और पुराने ढंग के इमेज या टेक्स्ट कैप्चा आते हैं, और CapSkip इन सभी को संभालता है। इसके अलावा यह ALTCHA, GeeTest v3 स्लाइडर, CaptchaFox, Friendly Captcha और Capy Puzzle का पज़ल पीस भी कवर करता है। जिन्हें यह नहीं संभाल सकता, वे हैं hCaptcha, Arkose (FunCaptcha), reCAPTCHA Mobile और नया GeeTest v4, इसलिए ऐसे टारगेट को छोड़ दें या उनसे बचकर रास्ता निकालें।
जब CapSkip कैप्चा संभाल रहा है, तो क्या मुझे फिर भी प्रॉक्सी चाहिए?
हाँ, क्योंकि दोनों अलग-अलग काम करते हैं। अच्छी प्रॉक्सी और समझदारी भरी रफ़्तार तय करती हैं कि कोई साइट आपको कितनी बार चैलेंज दिखाएगी; जो चैलेंज फिर भी आते हैं, उन्हें CapSkip पार करता है। reCAPTCHA और Turnstile के लिए उसी प्रॉक्सी पूल से हल करें जो आपका क्रॉलर इस्तेमाल करता है, ताकि पास उसी पते से मेल खाए जो उसे सबमिट करता है। अगर कोई खराब पूल ज़्यादा चैलेंज खड़े करता है, तो भी आपको एक पैसा ज़्यादा नहीं लगता।
क्या मेरा मौजूदा स्क्रैपर कोड CapSkip के साथ काम करेगा?
बहुत संभव है, हाँ। अगर आपका स्क्रैपर पहले से 2Captcha, Anti-Captcha, CapSolver या उन छह दूसरी सेवाओं में से किसी से बात करता है जिनकी जगह CapSkip ले सकता है, तो आप CapSkip को उसी सेवा पर स्विच करते हैं और आपका कोड बिल्कुल जैसा है वैसा ही रहता है। अब से जो स्पाइडर आप लिखेंगे, वे इसके बजाय आधिकारिक लाइब्रेरी इस्तेमाल कर सकते हैं, और असली ब्राउज़र से चलने वाले क्रॉल एक्सटेंशन का सहारा ले सकते हैं।
जब कोई क्रॉल हज़ारों चैलेंज सामने लाता है, तो यह कितना तेज़ है?
हर इमेज कैप्चा लगभग 0.1 सेकंड में हो जाता है। ब्राउज़र में हल होने वाले प्रकार ज़्यादा समय लेते हैं: reCAPTCHA और Turnstile आम तौर पर 3 से 10 सेकंड में पूरे होते हैं, GeeTest 7 से 12 सेकंड में। कुछ भी साझा कतार में इंतज़ार नहीं करता और कोई प्लान थ्रेड सीमित नहीं करता, इसलिए ज़्यादा ताकतवर CPU और ज़्यादा RAM का सीधा मतलब है प्रति घंटे ज़्यादा पेज। ब्राउज़र पर भारी क्रॉल 32 GB या उससे ज़्यादा मेमोरी वाली मशीन पर सबसे अच्छे चलते हैं।
क्या कोई और देख पाता है कि मैं किन साइटों को स्क्रैप करता हूँ?
नहीं। पहचान का काम आपके अपने कंप्यूटर या सर्वर पर चलता है, किसी रिमोट सॉल्विंग फ़ार्म पर नहीं, इसलिए टारगेट URL, पेज की इमेज और नतीजे आपके नियंत्रण वाले हार्डवेयर पर ही रहते हैं। जिन टीमों की असली बढ़त उन साइटों की सूची है जिन पर वे नज़र रखती हैं, उनके लिए यह प्राइवेसी अक्सर फिक्स्ड कीमत जितनी ही कीमती होती है।
मेरा स्क्रैपर कभी ब्राउज़र नहीं खोलता। क्या वह फिर भी आगे निकल सकता है?
हाँ। ब्राउज़र का जो भी काम हो, CapSkip उसे अपनी तरफ़ निपटा लेता है और एक पास देता है जिसे हल्का स्क्रैपर बस फ़ॉर्म के साथ सबमिट कर देता है, और इमेज कैप्चा के लिए तस्वीर के सिवा कुछ नहीं चाहिए। फिर भी, अपना ब्राउज़र तब काम आता है जब कोई साइट चैलेंज पार होने के बाद अपना कंटेंट सिर्फ़ ब्राउज़र के भीतर ही बनाती है।

कैप्चा के बिल के बोझ के बिना अपने क्रॉल को बढ़ने दें

CapSkip को अपने स्क्रैपर के पास लगाएँ और हल गिनना बंद करें। पेज, दोबारा कोशिशें और अतिरिक्त थ्रेड, सब एक ही मासिक शुल्क में आते हैं, जो जॉब चाहे जितना बड़ा हो जाए, फिक्स्ड रहता है।