库 / 框架
标签
同类项目
crawlee-python9.6kPython网页 抓取 与 浏览器 自动化库， 统 一 HTTP 与 无头 浏览器 抓取， 支持 代理 轮换 与 可靠 数 据持久化。 
spider2.8kRust编写 的 高并 发网页 爬 虫 引擎， 支持 流式 抓取 无头 渲染 与 分布式， 可 为 RAG 输送 网页 数 据 
puppeteer95.8k用JavaScript 高层API 控制 无头 Chrome/Firefox 的 浏览器 自动化 开发库。 
ferrum2.1k经CDP协议 操控Chrome 的 高层 Ruby 开发库， 无需 驱动即 可 实 现 导航截图鼠标 等 自动化 操作。 
browserless1.8k基于Puppeteer 的 无头 浏览器 驱动库， 提供 截图PDF生成 文本 提取 与 自动化 扩展 包。 
Scrapegraph-ai32.2k基于大模型 的 Python 网页 抓取库， 只需 提示 词即 可 抽取 网页 数据， 支持 多 流 水线 与 本 地 模型。