Thu Thập Dữ Liệu Website Với Firecrawl

Maven AGI dùng Firecrawl để thu thập dữ liệu từ website mà bạn trỏ đến và đưa nội dung đó vào cơ sở tri thức riêng của nó, không cần xuất hoặc tải lên thủ công.

Maven AGI Làm Gì Với Firecrawl

Đối với nội dung nằm trên một website thay vì trong một nền tảng như Confluence hay Notion, Firecrawl mang đến cho Maven một cách tiếp cận chung. Bạn đặt phạm vi, URL gốc, và bộ lọc đường dẫn cho một nguồn thu thập, và Maven chuyển đổi các trang phù hợp thành markdown sạch trong cơ sở tri thức riêng của nguồn đó, thu thập lại theo lịch mà bạn chọn.

Tính Năng Chính

• Thu Thập Dữ Liệu Thông Minh. Cấu hình độ sâu thu thập, bộ lọc đường dẫn, và hỗ trợ sơ đồ trang web để xác định chính xác những trang nào của một website sẽ được thu thập.
• Markdown Sạch, Mỗi Nguồn Một Cơ Sở Tri Thức. Mỗi nguồn thu thập có cơ sở tri thức riêng. Các trang được chuyển đổi thành markdown sạch, loại bỏ quảng cáo, thanh điều hướng, và nội dung lặp lại.
• Làm Mới Theo Lịch. Thu thập lại từng nguồn theo ngày, tuần, hoặc tháng, hoặc làm mới theo yêu cầu, nhờ đó cơ sở tri thức của bạn luôn theo kịp website thực tế.

Cách Hoạt Động

1. Thêm một nguồn. Nhập một URL gốc và đặt phạm vi cùng các tùy chọn markdown cho lần thu thập.
2. Thu thập dữ liệu. Firecrawl theo các liên kết trong phạm vi đó và chuyển đổi các trang thành markdown.
3. Luôn cập nhật. Đặt tần suất làm mới, hoặc làm mới theo yêu cầu, để giữ cơ sở tri thức đồng bộ với website thực tế.

Trường Hợp Sử Dụng Phổ Biến

• Đưa một trang tài liệu công khai hoặc trung tâm trợ giúp vào cơ sở tri thức của Maven mà không cần bộ kết nối nền tảng riêng.
• Giữ câu trả lời AI luôn cập nhật khi các trang tiếp thị hoặc tài liệu thay đổi.
• Kết hợp nội dung web đã thu thập với các nguồn tri thức khác trong một Maven agent.

Tích Hợp Liên Quan

• GitHub
• Confluence
• Notion
• ReadMe