批量网页抓取与 RAG：使用边界比工具更重要
本文性质：本站原创概览与合规说明，不转载原文，不使用原稿图片。
网页抓取工具可以提高资料整理效率，但抓取行为仍受网站条款、robots 规则、著作权和个人信息保护约束。
项目能解决什么
- 只处理公开、允许抓取的页面。
- 设置频率限制并保留来源、时间和抓取范围记录。
- RAG 知识库只应使用自己有权处理和长期保存的内容。
使用边界
不登录他人账号，不抓取非公开数据，不使用住宅代理规避封禁，不绕过验证码或网站访问控制。来源方要求停止抓取时应立即停止。
官方或来源资料
本文为问题梳理和经验总结，不替代项目官方文档。版本、许可证和平台条款可能变化，请在使用前重新核对。
