如何在 Botasaurus 中不使用扩展程序识别验证码

Botasaurus 里的验证码,最简单的处理方式是直接写在任务函数内部,而不是通过浏览器扩展程序。框架自身的文档指向一个付费的云端扩展程序,它会在后台悄悄解开挑战,并对每次尝试都收费。直接在被装饰的函数里调用识别工具,代码更少,而且拿到的 token 是一个普通的 Python 值,你可以打印日志、做条件判断、重试。本文将介绍如何读取 sitekey、完成识别、用 driver.run_js 注入答案,以及两个会在不知不觉中破坏整个流程的装饰器选项。
你需要什么
- Python 3.10 或更高版本,这两个包都是针对该版本开发的
- 已安装 Botasaurus,以及识别工具的客户端
- CapSkip 正在运行且可以访问。当爬虫和它跑在同一台机器上时,本地模式会监听 127.0.0.1 的 8080 端口;服务器模式则监听你的网络地址或公网 IP,让 VPS 或容器主机也能调用它。详见 连接设置 ,两种模式都适用。
- 一个带有真实小组件的页面。sitekey 必须从实时 DOM 中读取,因为它是按站点分配的
# The scraper and the solver client, in one line. python -m pip install --upgrade botasaurus capskip
为什么不用扩展程序方案
Botasaurus 通过装饰器支持 Chrome 扩展程序,它的文档里也演示了如何用 API key 接入一个 CapSolver 扩展程序。这确实可行,但它也替你决定了三件值得留意的事。
你永远看不到 token。 扩展程序会按自己的节奏把答案写进页面,你的代码里没有任何值可以检查。识别失败时,你拿到的是一个小组件仍未解开的页面,这个问题要等到后面变成一个让人摸不着头脑的表单错误才会暴露出来,而不是在失败的那一刻直接抛出异常。
每次尝试都要计费。 按次计费的云端 API 会把每一次重试都变成一笔账。Botasaurus 让这一点更加突出,因为 max_retry 会重新运行整个被装饰的函数,parallel 选项还会把它按浏览器数量成倍放大。十个工作进程、每个重试三次,一个下午就能跑出一笔你没有预料到的账单。把识别工具跑在自己的硬件上,能彻底省掉这笔计算,这一点在 CapSolver 替代方案页面上有更详细的说明。.
你的 API key 会被送进浏览器里。 扩展程序连同 key 一起被加载进 Chrome 实例。本地识别工具只接收来自你 Python 进程的请求,仅此而已。
第一步:在任务内部读取 sitekey
一切都发生在被装饰的函数内部,那里你已经有一个 driver 可用。
# python -m pip install botasaurus
from botasaurus.browser import browser, Driver, Wait
@browser(block_images=True)
def solve_login(driver: Driver, data):
driver.get("https://example.com/page-with-recaptcha")
# The widget is injected by script, so wait for it
# rather than reading the DOM immediately.
widget = driver.select("[data-sitekey]", wait=Wait.LONG)
sitekey = widget.get_attribute("data-sitekey")
return {"sitekey": sitekey} # written to output/solve_login.json这里要养成两个 Botasaurus 的习惯。select 调用返回的是元素或者 None,而不是直接抛异常,所以如果不检查,缺失的小组件会在下一行变成一个 NoneType 错误。另外,你返回的任何内容都会被写进 output 目录下的一个 JSON 文件,文件名以函数名命名,这让你在还在搭建任务时,也能方便地检查一个跑到一半的任务。
第二步:识别验证码,再用 driver.run_js 注入答案
Botasaurus 不是通过 Selenium 驱动浏览器的,所以你在别处找到的 execute_script 用法在这里都用不上。对应的方法是 driver.run_js,它的第二个参数接收一个参数对象。
# python -m pip install capskip
from capskip import CapSkip
solver = CapSkip(host="127.0.0.1", port=8080)
result = solver.recaptcha(
sitekey=sitekey,
url="https://example.com/page-with-recaptcha",
)
# args is how Botasaurus passes Python values into the page.
driver.run_js(
"document.getElementById('g-recaptcha-response').value = args.token",
{"token": result["code"]},
)同一个调用能覆盖整个 reCAPTCHA 系列。invisible 小组件传 invisible,Enterprise 传 enterprise,v3 则传对应带 action 的 v3 版本。Turnstile 和极验是形状相同的独立方法。对于 v3,你还可以传入 min_score:CapSkip 会接受它,让从其他服务移植过来的代码继续可用,但它不会改变 token,因为分数由 Google 决定。
如果小组件的 div 带有 data-callback 属性,就用 token 调用那个函数,而不是直接提交表单。这样搭建的页面从来不会接上普通的提交处理逻辑,所以点按钮什么反应都没有。
完整的可运行示例
# python -m pip install botasaurus capskip
from botasaurus.browser import browser, Driver, Wait
from capskip import CapSkip, NetworkException, TimeoutException
solver = CapSkip(host="127.0.0.1", port=8080)
PAGE = "https://example.com/page-with-recaptcha"
@browser(block_images=True, max_retry=3, retry_wait=10)
def scrape_behind_recaptcha(driver: Driver, data):
driver.get(PAGE)
widget = driver.select("[data-sitekey]", wait=Wait.LONG)
if widget is None:
return {"error": "no widget on the page"}
try:
result = solver.recaptcha(
sitekey=widget.get_attribute("data-sitekey"),
url=driver.run_js("return location.href"),
)
except (NetworkException, TimeoutException) as exc:
# Raising here lets max_retry take another run at it.
raise RuntimeError(f"solve failed: {exc}")
driver.run_js(
"document.getElementById('g-recaptcha-response').value = args.token",
{"token": result["code"]},
)
driver.click("button[type='submit']")
return {"title": driver.run_js("return document.title")}
scrape_behind_recaptcha()注意,页面 URL 要从浏览器里取,而不是用写死的常量。如果站点在进入时发生了跳转,识别真正需要的是渲染该小组件时所在的那个 URL;沿用你自己写死的字符串,是服务器拒绝 token 最常见的原因。
两个会破坏识别的装饰器选项
这两个都是 Botasaurus 做得对的地方,但正因为如此,一旦牵涉到验证码,它们就特别容易让人困惑。
缓存会把返回值存起来,用输入作为 key。 打开它,用同一个输入再跑一次,框架会直接返回存好的字典,连浏览器都不打开,也就不会发生识别,也不会有请求到达识别工具。重新跑一次大规模抓取时,这是个优点;但调试单个页面时,它看起来就像集成坏了,所以调试时要清空缓存或者去掉这个选项。
装饰器上的 proxy 选项是浏览器的代理,不是识别工具的代理。 这是两个各自独立的设置,而且必须一致。如果浏览器挂在住宅代理后面,token 却是从你自己的 IP 生成的,这种不一致站点是看得出来的,这也是为什么一个单独验证时没问题的识别,放进真实流程里却会失败。把同一个端点传给识别调用:
PROXY = "user:[email protected]:3128" @browser(proxy=f"http://{PROXY}") def scrape(driver: Driver, data): result = solver.recaptcha( sitekey=sitekey, url=PAGE, proxy={"type": "HTTPS", "uri": PROXY}, )
代理适用于 reCAPTCHA、Turnstile、极验和 CaptchaFox。图片验证码不需要代理,因为它没有需要路由到第三方的请求。
同时运行多个浏览器
这正是本地识别工具能发挥价值的地方。在装饰器上设置 parallel 选项,会启动相应数量的浏览器,每个浏览器都用各自的输入跑你的函数,也各自遇到自己的一道挑战。
@browser(parallel=8, reuse_driver=True, block_images=True)
def scrape_behind_recaptcha(driver: Driver, data):
...
scrape_behind_recaptcha([url1, url2, url3])一个客户端对象可以安全地被这八个浏览器共用,因为每次调用都是一个独立的 HTTP 请求。SDK 会以 250 毫秒开始轮询,再逐步回退到 pollingInterval 设定的上限,所以就算同时有好几个在跑,快速识别依然快。容量是硬件问题,不是计费问题,这也是为什么八个工作进程可以是一个合理的默认值,而不需要额外理由。更完整的抓取模式写在 网络爬虫页面.
改为在服务器上运行 CapSkip
Botasaurus 爬虫最终往往不会留在笔记本电脑上,而是跑在 VPS、Docker 主机,或是一台按计划运行的机器上。loopback 地址跟不到那里去。
| 模式 | 监听地址 | 适用场景 |
|---|---|---|
| 本地 | 127.0.0.1,仅限该设备 | 爬虫和识别工具在同一台机器上 |
| 服务器 | 你的内网或公网 IP | 爬虫跑在 VPS、容器或另一台机器上 |
唯一变化的是构造函数。SDK 不会自己读取 CAPSKIP_HOST 或 CAPSKIP_PORT,所以下面的构造函数会从环境变量里读取它们,这样部署后的爬虫只需要配好这两个变量,而不需要改代码。
import os
from capskip import CapSkip
# Same client, different address. The task never changes.
solver = CapSkip(
host=os.getenv("CAPSKIP_HOST", "127.0.0.1"),
port=int(os.getenv("CAPSKIP_PORT", "8080")),
)建议给识别工具所在的机器配一个静态公网 IP,让地址固定不变,具体步骤参见 连接设置。这仍然是你自己的硬件,仍然不限量计费,唯一变化的只是进程监听的位置。
常见错误及其含义
| 症状 | 原因 | 修复 |
|---|---|---|
| NoneType 上的 AttributeError | select 调用没有找到任何内容,返回了 None | 传入 wait 参数,然后在读取属性前先检查是否为 None |
| 任务瞬间返回,浏览器根本没打开 | 缓存对这个输入返回了存好的结果 | 调试时清空缓存,或者去掉这个选项 |
| 第一次识别时出现 NetworkException | 那个主机和端口上没有任何东西在监听 | 启动 CapSkip;如果爬虫在远程机器上,就切换到服务器模式 |
ERROR_GOOGLEKEY | sitekey 属于一个 Turnstile 小组件,或者被截断了 | 识别前先打印一下这个属性;Turnstile 有自己专门的方法 |
ERROR_PAGEURL | 写死的 URL 已经和页面对不上了 | 改成直接从浏览器里读取地址 |
| 表单提交了,但服务器拒绝了 token | 页面用的是回调,只填隐藏字段还不够 | 用 token 调用 data-callback 指定的函数 |
| 单独测试能跑,套上代理就失败 | 浏览器走了代理,但识别没有走 | 让两者用同一个端点 |
每一个参数和每一条错误字符串,都列在 API 文档里。.
常见问题
能不能改用 request 装饰器来做?
不能,Botasaurus 的文档把原因说得很明白:request 装饰器发出的是类似浏览器的 HTTP 请求,但它不能执行 JavaScript,而挑战小组件正是用 JavaScript 实现的。带小组件的页面要用 browser 装饰器。一旦你拿到了会话,request 任务仍然是处理它背后那些页面的合适工具。
如果是 Cloudflare 的过渡页而不是一个小组件呢?
这是两件不同的事,第一种 Botasaurus 已经处理好了。站点加载前那个整页的过渡页面,正是 google_get 上 bypass_cloudflare 参数要解决的问题。而登录表单里的 Turnstile 小组件,只是普通页面上的一道普通挑战,和其他挑战一样也需要一个 token,所以识别它,再把答案写进 cf-turnstile-response 字段就行。
能不能在没有显示器的服务器上以无头模式运行?
可以。Botasaurus 提供 headless 选项,还为没有显示器的 Linux 机器提供 X virtual framebuffer 选项,这两个都不会影响识别本身,因为识别只是你 Python 进程发出的一次 HTTP 调用。用服务器模式把客户端指向一个可访问的地址,同一个任务在 VPS 上原样运行即可。
识别逻辑要不要放进单独的 task 装饰器?
可以,如果多个爬虫共用同一套识别逻辑,这样做会更整洁。task 装饰器可以运行任何你想要的 Python 代码,背后同样有缓存和重试机制。但如果 token 还要写回它来自的那个页面,就把识别逻辑留在 browser 函数里,拆开只会让你无谓地到处传递 driver。
简短版结论
用带等待的 select 读取 sitekey,在被装饰的函数内部完成识别,再用 driver.run_js 和它的 args 对象把 token 写回页面。跳过扩展程序:把 token 当作一个值握在手里,才能有意图地重试,也才能让 API key 留在浏览器之外。
要留意的两个选项,一个是缓存:它会直接返回存好的结果,根本不打开浏览器;另一个是 proxy 设置:它只覆盖浏览器,不覆盖识别本身。自己跑识别工具才能让重试免费,这就是为什么 验证码绕过 在八个工作进程下是容量问题而不是预算问题。客户端的各项选项写在 Python 集成指南,框架自身的参考文档在 Botasaurus 代码仓库.
