PRODUCT REFERENCE

Crawlee

连接网页链接抓取、数据采集和存储的Node.js库。

访问产品官网
Crawlee 官网展示(周刊历史配图)

Crawlee 官网展示(周刊历史配图) · 图片可能展示来源记录时的界面。

先理解这个产品

给谁用,解决什么问题

目标用户
编写数据采集流程的开发者
解决的问题
爬取任务需要反复组织页面遍历与结果保存。

从具体的取舍中找灵感

值得参考的地方

  • 把链接抓取和数据采集纳入端到端工具链。
  • 同时支持磁盘或云端存储,并保留可配置的项目接入方式。

资料来源

资料核对用于确认内容与出处,不代表独立验证历史财务结果或产品当前全部功能。