告别枯燥文档，打造你的专属GPT！用gpt-crawler轻松构建知识库

厌倦了漫无目的的搜索？想要一个能够快速解答你特定领域问题的AI助手？那么，BuilderIO团队开源的gpt-crawler就是你的救星！

它能做什么？简单来说，gpt-crawler就像一个高效的网站知识提取器。你只需要提供一个网址，它就能自动爬取网站内容，并生成结构化的知识文件。这些文件可以直接上传到OpenAI，用于构建你自己的定制GPT，从而实现对指定网站信息的精准问答。

谁会需要它？

  • 开发者: 快速构建基于特定文档的AI助手，例如：内部文档、项目说明、API参考等。省去手动整理知识库的繁琐步骤，大幅提高工作效率。
  • 内容创作者: 将你的博客、网站内容转化为AI驱动问答系统，提升用户体验，并拓展内容的价值。
  • 研究人员: 快速构建基于特定研究领域的AI知识库，方便进行文献检索和信息提取。

如何使用？

  1. 获取代码: 在GitHub上fork BuilderIO/gpt-crawler 项目：https://github.com/BuilderIO/gpt-crawler
  2. 本地运行: 按照README中的步骤，安装依赖，配置爬取参数（包括目标URL、选择器等），运行脚本即可生成output.json文件。你可以灵活配置爬取深度、排除资源类型等。
  3. 上传至OpenAI: 将生成的output.json文件上传到OpenAI，创建你专属的Custom GPT或Custom Assistant。 （注意：可能需要付费的OpenAI计划）
  4. 开始提问: 使用你的定制GPT，针对你指定网站的内容进行提问，获得精准、快速的答案。

核心功能：

  • 灵活配置: 支持自定义爬取深度、选择器及排除特定资源类型，确保抓取数据的精准性和效率。
  • 多种运行方式: 支持本地运行、Docker容器运行以及API形式运行，满足不同的使用场景。
  • 数据格式化: 生成结构化的JSON文件，方便上传至OpenAI。

不再需要手动整理海量信息，gpt-crawler让构建你专属的GPT变得触手可及。 赶快尝试一下，体验AI赋能的便捷与高效吧！ 更多细节，请访问项目主页查看详细文档。别忘了查看BuilderIO的博客文章了解更多信息：www.builder.io/blog/custom-gpt