Maven AGI menggunakan Firecrawl untuk meng-crawl situs web yang Anda arahkan dan membawa konten tersebut ke basis pengetahuannya sendiri, tanpa ekspor atau unggahan manual.
Yang Dilakukan Maven AGI Dengan Firecrawl
Untuk konten yang berada di situs web dan bukan di platform seperti Confluence atau Notion, Firecrawl memberi Maven cara masuk yang umum. Anda menetapkan cakupan, URL root, dan filter jalur untuk sebuah sumber crawl, dan Maven mengonversi halaman yang cocok menjadi markdown bersih di basis pengetahuan tersendiri milik sumber tersebut, meng-crawl ulang sesuai jadwal yang Anda pilih.
Kemampuan Utama
- Crawling Cerdas. Konfigurasikan kedalaman crawl, filter jalur, dan dukungan sitemap untuk menentukan dengan tepat halaman mana dari sebuah situs yang di-crawl.
- Markdown Bersih, Satu KB per Sumber. Setiap sumber crawl mendapatkan basis pengetahuannya sendiri. Halaman dikonversi menjadi markdown yang bersih, menghilangkan iklan, navigasi, dan boilerplate.
- Pembaruan Terjadwal. Crawl ulang setiap sumber setiap hari, minggu, atau bulan, atau perbarui sesuai permintaan, sehingga basis pengetahuan Anda mengikuti perubahan situs langsung.
Cara Kerja
- Tambahkan sumber. Masukkan URL root dan tetapkan cakupan crawl serta opsi markdown.
- Crawl. Firecrawl mengikuti tautan dalam cakupan tersebut dan mengonversi halaman menjadi markdown.
- Tetap terkini. Tetapkan jadwal pembaruan, atau perbarui sesuai permintaan, untuk menjaga basis pengetahuan tetap sinkron dengan situs langsung.
Kasus Penggunaan Umum
- Bawa situs dokumentasi publik atau pusat bantuan ke basis pengetahuan Maven tanpa konektor platform khusus.
- Jaga jawaban AI tetap terkini seiring perubahan halaman pemasaran atau dokumentasi.
- Gabungkan konten web yang di-crawl dengan sumber pengetahuan lain dalam satu agen Maven.
Integrasi Terkait
Pertanyaan yang sering diajukan
Untuk apa Firecrawl digunakan di Maven AGI?
Firecrawl meng-crawl situs web yang Anda arahkan dan mengimpor kontennya sebagai markdown yang bersih ke basis pengetahuan Maven tersendiri.
Apakah kami memerlukan platform atau CMS tertentu agar ini berfungsi?
Tidak. Firecrawl bekerja di situs web publik mana pun, yang menjadikannya cocok saat konten Anda tidak berada di platform yang memiliki konektor khusus dari Maven.
Bagaimana Maven menjaga konten yang di-crawl tetap terkini?
Anda menetapkan jadwal pembaruan, harian, mingguan, atau bulanan, atau memperbarui sumber sesuai permintaan. Setiap crawl yang berhasil menerbitkan versi baru dari basis pengetahuan sumber tersebut.
Lihat langsung pada percakapan Anda sendiri.
Minta demo personal gratis.