Maven AGI gebruikt Firecrawl om een website te crawlen die je opgeeft en die content naar zijn eigen kennisbank te brengen, zonder handmatige export of upload.
Wat Maven AGI doet met Firecrawl
Voor content die op een website staat in plaats van op een platform zoals Confluence of Notion, biedt Firecrawl Maven een generieke manier om binnen te komen. Je stelt de scope, hoofd-URL en padfilters in voor een crawlbron, en Maven zet overeenkomende pagina's om naar schone Markdown in de eigen kennisbank van die bron, en crawlt opnieuw volgens het schema dat je kiest.
Belangrijkste mogelijkheden
- Slim crawlen. Configureer crawldiepte, padfilters en sitemap-ondersteuning om precies te bepalen welke pagina's van een site worden gecrawld.
- Schone Markdown, één KB per bron. Elke crawlbron krijgt een eigen kennisbank. Pagina's worden omgezet naar schone Markdown, waarbij advertenties, navigatie en standaardtekst worden verwijderd.
- Geplande vernieuwingen. Crawl elke bron dagelijks, wekelijks of maandelijks opnieuw, of vernieuw deze op aanvraag, zodat je kennisbank gelijke tred houdt met de live site.
Hoe het werkt
- Voeg een bron toe. Voer een hoofd-URL in en stel de scope van de crawl en de Markdown-opties in.
- Crawl. Firecrawl volgt links binnen die scope en zet pagina's om naar Markdown.
- Blijf actueel. Stel een vernieuwingsfrequentie in, of vernieuw op aanvraag, om de kennisbank gesynchroniseerd te houden met de live site.
Veelvoorkomende toepassingen
- Breng een openbare documentatiesite of helpcentrum in Mavens kennisbank zonder speciale platformconnector.
- Houd AI-antwoorden actueel terwijl marketing- of documentatiepagina's veranderen.
- Combineer gecrawlde webcontent met andere kennisbronnen in één Maven-agent.
Gerelateerde integraties
Veelgestelde vragen
Waarvoor wordt Firecrawl gebruikt in Maven AGI?
Firecrawl crawlt een website die je opgeeft en importeert de content als schone Markdown in een eigen Maven-kennisbank.
Hebben we een specifiek platform of CMS nodig om dit te laten werken?
Nee. Firecrawl werkt op elke openbare website, wat het een goede optie maakt wanneer je content niet op een platform staat waarvoor Maven een speciale connector heeft.
Hoe houdt Maven gecrawlde content actueel?
Je stelt een vernieuwingsfrequentie in, dagelijks, wekelijks of maandelijks, of vernieuwt een bron op aanvraag. Elke geslaagde crawl publiceert een nieuwe versie van de kennisbank van die bron.
Zie het op je eigen gesprekken.
Vraag een gratis demo op maat aan.