Maven AGI는 Firecrawl을 사용하여 지정한 웹사이트를 크롤링하고, 수동 내보내기나 업로드 없이 해당 콘텐츠를 자체 지식 베이스로 가져옵니다.
Maven AGI가 Firecrawl로 하는 일
Confluence나 Notion 같은 플랫폼이 아닌 웹사이트에 있는 콘텐츠의 경우, Firecrawl이 Maven에게 범용적인 접근 방법을 제공합니다. 크롤링 소스의 범위, 루트 URL, 경로 필터를 설정하면, Maven이 해당하는 페이지를 그 소스 전용 지식 베이스 안에서 깔끔한 Markdown으로 변환하고, 선택한 일정에 따라 다시 크롤링합니다.
주요 기능
- 스마트 크롤링. 크롤링 깊이, 경로 필터, 사이트맵 지원을 설정하여 사이트의 어떤 페이지를 크롤링할지 정확히 지정할 수 있습니다.
- 깔끔한 Markdown, 소스별 하나의 KB. 각 크롤링 소스는 자체 지식 베이스를 가집니다. 페이지는 광고, 내비게이션, 상투적인 요소를 제거한 깔끔한 Markdown으로 변환됩니다.
- 예약된 갱신. 각 소스를 매일, 매주, 또는 매월 다시 크롤링하거나 필요할 때 직접 갱신할 수 있어, 지식 베이스가 실제 사이트와 보조를 맞춥니다.
작동 방식
- 소스를 추가하세요. 루트 URL을 입력하고 크롤링 범위와 Markdown 옵션을 설정합니다.
- 크롤링하세요. Firecrawl이 그 범위 내의 링크를 따라가며 페이지를 Markdown으로 변환합니다.
- 최신 상태를 유지하세요. 갱신 주기를 설정하거나 필요할 때 직접 갱신하여 지식 베이스를 실제 사이트와 동기화 상태로 유지합니다.
일반적인 사용 사례
- 전용 플랫폼 커넥터 없이 공개 문서 사이트나 헬프 센터를 Maven 지식 베이스로 가져옵니다.
- 마케팅 또는 문서 페이지가 변경될 때마다 AI 답변을 최신 상태로 유지합니다.
- 크롤링한 웹 콘텐츠를 다른 지식 소스와 결합하여 하나의 Maven 에이전트에서 사용합니다.
관련 연동
자주 묻는 질문
Maven AGI에서 Firecrawl은 무엇에 사용되나요?
Firecrawl은 지정한 웹사이트를 크롤링하여 콘텐츠를 깔끔한 Markdown으로 전용 Maven 지식 베이스에 가져옵니다.
이 기능이 작동하려면 특정 플랫폼이나 CMS가 필요한가요?
아니요. Firecrawl은 모든 공개 웹사이트에서 작동하므로, 콘텐츠가 Maven이 전용 커넥터를 제공하지 않는 플랫폼에 있을 때 적합합니다.
Maven은 크롤링한 콘텐츠를 어떻게 최신 상태로 유지하나요?
매일, 매주, 매월과 같은 갱신 주기를 설정하거나, 소스를 필요할 때 직접 갱신할 수 있습니다. 크롤링이 성공할 때마다 해당 소스의 지식 베이스의 새 버전이 게시됩니다.
귀사의 실제 대화로 확인하세요.
맞춤형 무료 데모를 신청하세요.