Maven AGI 使用 Firecrawl 爬取您指定的網站，並將內容帶入其專屬知識庫，無需手動匯出或上傳。
Maven AGI 與 Firecrawl 的協作方式
對於存放在網站而非 Confluence 或 Notion 等平台上的內容，Firecrawl 為 Maven 提供了一種通用的接入方式。您可以為某個爬取來源設定範圍、根網址與路徑篩選器，Maven 會將符合的頁面轉換為該來源專屬知識庫中的乾淨 Markdown，並依您選擇的排程重新爬取。
主要功能
- 智慧爬取。 設定爬取深度、路徑篩選器與網站地圖支援，精確界定網站中哪些頁面會被爬取。
- 乾淨的 Markdown，每個來源對應一個知識庫。 每個爬取來源都會取得獨立的知識庫。頁面會被轉換為乾淨的 Markdown，並去除廣告、導覽列與樣板化內容。
- 定時更新。 按每日、每週或每月重新爬取各個來源，或依需求更新，使您的知識庫與實際網站保持同步。
運作方式
- 新增來源。 輸入根網址，並設定本次爬取的範圍與 Markdown 選項。
- 爬取。 Firecrawl 會在該範圍內追蹤連結，並將頁面轉換為 Markdown。
- 保持最新。 設定更新頻率，或依需求更新，使知識庫與實際網站保持同步。
常見使用情境
- 在沒有專用平台連接器的情況下，將公開文件網站或說明中心納入 Maven 知識庫。
- 在行銷或文件頁面發生變化時，保持 AI 回答的時效性。
- 將爬取的網頁內容與其他知識來源結合至同一個 Maven 代理中。
相關整合
常見問題
Firecrawl 在 Maven AGI 中有什麼用途？
Firecrawl 會爬取您指定的網站，並將內容以乾淨的 Markdown 形式匯入其專屬的 Maven 知識庫。
要使用此功能，我們需要特定的平台或 CMS 嗎？
不需要。Firecrawl 適用於任何公開網站，因此當您的內容並非存放於 Maven 已有專用連接器的平台上時，它是一個很好的選擇。
Maven 如何保持爬取內容的時效性？
您可以設定每日、每週或每月的更新頻率，也可以依需求更新某個來源。每次成功爬取都會發布該來源知識庫的新版本。
用您自己的對話實際體驗。
申請免費的專屬展示。