PRODUCT REFERENCE
Crawlee
连接网页链接抓取、数据采集和存储的Node.js库。

Crawlee 官网展示(周刊历史配图) · 图片可能展示来源记录时的界面。
先理解这个产品
给谁用,解决什么问题
- 目标用户
- 编写数据采集流程的开发者
- 解决的问题
- 爬取任务需要反复组织页面遍历与结果保存。
从具体的取舍中找灵感
值得参考的地方
- 把链接抓取和数据采集纳入端到端工具链。
- 同时支持磁盘或云端存储,并保留可配置的项目接入方式。
资料来源
资料核对用于确认内容与出处,不代表独立验证历史财务结果或产品当前全部功能。
