gpt-crawlerahttps://github.com/BuilderIO/gpt-crawlerb|最后更新: 2023-11-24简介可以爬取网站内容来生成知识文件。项目展示了如何使用爬虫从指定 URL（例如 Builder.io 的文档）进行爬取，配置爬虫参数，比如 URL，选择器，最大爬取页面数等参数。运行后就能爬取该知识网站的内容，输出 Json 文件。标签爬虫Python使用情况有待研究URL