Maven AGIはFirecrawlを使用して、指定したウェブサイトをクロールし、そのコンテンツを専用のナレッジベースへ手動のエクスポートやアップロードなしで取り込みます。
Maven AGIがFirecrawlで行うこと
ConfluenceやNotionのようなプラットフォームではなく、ウェブサイト上にあるコンテンツに対して、Firecrawlは汎用的な取り込み手段をMavenに提供します。クロールソースのスコープ、ルートURL、パスフィルターを設定すると、Mavenは該当するページをそのソース専用のナレッジベース内でクリーンなMarkdownに変換し、選択したスケジュールで再クロールします。
主な機能
- スマートクロール。 クロールの深さ、パスフィルター、サイトマップのサポートを設定し、サイトのどのページをクロールするかを正確に指定できます。
- クリーンなMarkdown、ソースごとに1つのKB。 各クロールソースは独自のナレッジベースを取得します。ページは広告、ナビゲーション、定型文を取り除いたクリーンなMarkdownに変換されます。
- スケジュールされた更新。 各ソースを毎日、毎週、または毎月再クロールするか、オンデマンドで更新できます。これによりナレッジベースは実際のサイトと同じペースで最新に保たれます。
仕組み
- ソースを追加する。 ルートURLを入力し、クロールのスコープとMarkdownのオプションを設定します。
- クロールする。 Firecrawlはそのスコープ内のリンクをたどり、ページをMarkdownに変換します。
- 最新に保つ。 更新頻度を設定するか、オンデマンドで更新して、ナレッジベースを実際のサイトと同期させます。
一般的なユースケース
- 専用のプラットフォームコネクタなしで、公開ドキュメントサイトやヘルプセンターをMavenのナレッジベースへ取り込みます。
- マーケティングページやドキュメントページが変更されるたびに、AIの回答を最新に保ちます。
- クロールしたウェブコンテンツを他のナレッジソースと組み合わせて1つのMavenエージェントで利用します。
関連する連携
よくあるご質問
Maven AGIにおいてFirecrawlは何に使われますか？
Firecrawlは指定したウェブサイトをクロールし、そのコンテンツをクリーンなMarkdownとして専用のMavenナレッジベースへインポートします。
これを機能させるために特定のプラットフォームやCMSが必要ですか？
いいえ。Firecrawlは任意の公開ウェブサイトで動作するため、Mavenが専用コネクタを持たないプラットフォームにコンテンツがある場合に適しています。
Mavenはクロールしたコンテンツをどのように最新に保ちますか？
毎日、毎週、毎月といった更新頻度を設定するか、ソースをオンデマンドで更新できます。クロールが成功するたびに、そのソースのナレッジベースの新しいバージョンが公開されます。
自社の会話でお試しください。
無料の個別デモをお申し込みください。