Maven AGI 使用 Firecrawl 抓取您指定的网站，并将内容带入其专属知识库，无需手动导出或上传。
Maven AGI 与 Firecrawl 的协作方式
对于存放在网站而非 Confluence 或 Notion 等平台上的内容，Firecrawl 为 Maven 提供了一种通用的接入方式。您可以为某个抓取来源设置范围、根 URL 和路径过滤器，Maven 会将匹配的页面转换为该来源专属知识库中的干净 Markdown，并按您选择的计划重新抓取。
主要功能
- 智能抓取。 配置抓取深度、路径过滤器和站点地图支持，精确界定网站中哪些页面会被抓取。
- 干净的 Markdown，每个来源对应一个知识库。 每个抓取来源都会获得独立的知识库。页面会被转换为干净的 Markdown，并去除广告、导航和模板化内容。
- 定时刷新。 按每日、每周或每月重新抓取各个来源，或按需刷新，使您的知识库与实际网站保持同步。
工作原理
- 添加来源。 输入根 URL，并设置本次抓取的范围和 Markdown 选项。
- 抓取。 Firecrawl 会在该范围内跟踪链接，并将页面转换为 Markdown。
- 保持最新。 设置刷新频率，或按需刷新，使知识库与实际网站保持同步。
常见使用场景
- 在没有专用平台连接器的情况下，将公开文档网站或帮助中心纳入 Maven 知识库。
- 在营销或文档页面发生变化时，保持 AI 回答的时效性。
- 将抓取的网页内容与其他知识来源结合到同一个 Maven 智能体中。
相关集成
常见问题
Firecrawl 在 Maven AGI 中有什么用途？
Firecrawl 会抓取您指定的网站，并将内容以干净的 Markdown 形式导入其专属的 Maven 知识库。
要使用此功能，我们需要特定的平台或 CMS 吗？
不需要。Firecrawl 适用于任何公开网站，因此当您的内容并非存放在 Maven 已有专用连接器的平台上时，它是一个很好的选择。
Maven 如何保持抓取内容的时效性？
您可以设置每日、每周或每月的刷新频率，也可以按需刷新某个来源。每次成功抓取都会发布该来源知识库的新版本。
用您自己的对话来验证。
申请免费的个性化演示。