Maven AGI verwendet Firecrawl, um eine Website, auf die Sie es ausrichten, zu crawlen und diesen Inhalt in seine eigene Wissensdatenbank zu bringen – ohne manuelle Exporte oder Uploads.
Was Maven AGI mit Firecrawl macht
Für Inhalte, die auf einer Website statt auf einer Plattform wie Confluence oder Notion liegen, gibt Firecrawl Maven einen generischen Zugang. Sie legen den Umfang, die Root-URL und die Pfadfilter für eine Crawl-Quelle fest, und Maven wandelt passende Seiten in sauberes Markdown in der eigenen Wissensdatenbank dieser Quelle um, wobei es nach dem von Ihnen gewählten Zeitplan erneut crawlt.
Wichtige Funktionen
- Intelligentes Crawling. Konfigurieren Sie Crawl-Tiefe, Pfadfilter und Sitemap-Unterstützung, um genau festzulegen, welche Seiten einer Website gecrawlt werden.
- Sauberes Markdown, eine Wissensdatenbank pro Quelle. Jede Crawl-Quelle erhält ihre eigene Wissensdatenbank. Seiten werden in sauberes Markdown umgewandelt, wobei Werbung, Navigation und Standardelemente entfernt werden.
- Geplante Aktualisierungen. Crawlen Sie jede Quelle täglich, wöchentlich oder monatlich erneut, oder aktualisieren Sie sie bei Bedarf, sodass Ihre Wissensdatenbank mit der Live-Website Schritt hält.
So funktioniert es
- Quelle hinzufügen. Geben Sie eine Root-URL ein und legen Sie den Umfang des Crawls sowie die Markdown-Optionen fest.
- Crawlen. Firecrawl folgt Links innerhalb dieses Umfangs und wandelt Seiten in Markdown um.
- Aktuell bleiben. Legen Sie einen Aktualisierungsrhythmus fest, oder aktualisieren Sie bei Bedarf, um die Wissensdatenbank mit der Live-Website synchron zu halten.
Typische Anwendungsfälle
- Bringen Sie eine öffentliche Docs-Website oder ein Help Center ohne eigenen Plattform-Connector in die Wissensdatenbank von Maven.
- Halten Sie KI-Antworten aktuell, während sich Marketing- oder Dokumentationsseiten ändern.
- Kombinieren Sie gecrawlten Web-Inhalt mit anderen Wissensquellen in einem Maven-Agenten.
Verwandte Integrationen
Häufig gestellte Fragen
Wofür wird Firecrawl in Maven AGI verwendet?
Firecrawl crawlt eine Website, auf die Sie es ausrichten, und importiert den Inhalt als sauberes Markdown in eine eigene Maven-Wissensdatenbank.
Benötigen wir eine bestimmte Plattform oder ein bestimmtes CMS, damit dies funktioniert?
Nein. Firecrawl funktioniert auf jeder öffentlichen Website, was es gut geeignet macht, wenn Ihr Inhalt nicht auf einer Plattform liegt, für die Maven einen eigenen Connector hat.
Wie hält Maven gecrawlten Inhalt aktuell?
Sie legen einen Aktualisierungsrhythmus fest – täglich, wöchentlich oder monatlich – oder aktualisieren eine Quelle bei Bedarf. Jeder erfolgreiche Crawl veröffentlicht eine neue Version der Wissensdatenbank dieser Quelle.
Testen Sie es mit Ihren eigenen Konversationen.
Fordern Sie eine kostenlose, individuelle Demo an.