여러분의 AI 에이전트는 하루에도 수천 명의 고객과 상호작용합니다. 대부분의 날은 전날과 비슷해 보입니다. 하지만 어느 날 오후, 통합이 실패하거나, 정책 변경으로 구매자가 혼란을 겪거나, 프로모션으로 트래픽이 두 배로 늘어나는데도, 에스컬레이션이 쌓이기 전까지는 아무도 눈치채지 못합니다.
오늘 저희는 에이전트의 대화를 24시간 모니터링하는 Maven 앱인 Observatory를 출시합니다. Observatory는 여러분의 에이전트에게 평소와 같은 하루가 어떤 모습인지 학습하고, 평소와 다른 점을 발견하면 이메일, Slack, webhook 또는 Maven Inbox로 알려드립니다.
대시보드는 무슨 일이 일어났는지는 알려주지만, 언제 걱정해야 하는지는 알려주지 않습니다.
AI 에이전트가 질문 응대부터 반품 처리, 판매 성사에 이르기까지 고객 라이프사이클의 더 많은 부분을 담당하게 되면서, 조용히 발생하는 장애의 비용은 커지고 있습니다. 오류가 있는 작업이나 해결률 하락은 누군가 대시보드를 열어보기 전까지 몇 시간씩 이어질 수 있습니다.
일반적인 해결책은 정적인 알림입니다. 예를 들어 대화량이 시간당 200건 아래로 떨어지면 알려달라는 식입니다. 하지만 대화 트래픽은 주기적으로 변동합니다. 고정된 임계값을 사용하면 매주 일요일 밤은 모두 장애로, 매주 월요일 점심시간은 모두 급증으로 판단되기 때문에, 팀은 잘못된 경보에 파묻히거나 아예 알림을 꺼버리게 됩니다.
CX 리더에게 필요한 것은 에이전트의 리듬을 이해하고, 실제로 문제가 있을 때만 알려주는 도구입니다.
Observatory를 소개합니다
Observatory는 Maven App Directory에 있는 앱으로, 여러분의 에이전트 대화 분석을 모니터링합니다. Agent Designer에서 어떤 에이전트에든 설치하면, 해당 에이전트의 시간대를 기준으로 가장 중요한 지표를 모아놓은 Overview 화면이 열립니다.
이후 Observatory는 세 가지 역할을 수행합니다.
- 모니터링합니다. 모든 지표를 에이전트가 평소 보이는 범위와 비교해 차트로 표시하므로, 그 범위를 벗어난 움직임은 바로 눈에 띕니다.
- 알립니다. 일정한 주기로 점검을 수행하며, 평소와 다른 일이 발생하는 즉시 팀에 알립니다.
- 설명합니다. Maven이 차트를 분석해 무엇이 바뀌었는지, 어떤 부분을 더 자세히 살펴볼 가치가 있는지 평이한 언어로 요약합니다.
작동 방식
에이전트의 평소 한 주를 이해하는 이상 탐지
Observatory는 매시간, 매일, 매주의 데이터를 비교 가능한 이전 기간과 비교합니다. 월요일은 월요일끼리, 조용한 밤은 조용한 밤끼리 비교하므로, 평소의 트래픽 리듬이 문제로 오인되는 일은 없습니다. 지난 5번의 월요일 평균이 약 406건이었는데 이번 월요일에 612건의 대화가 발생하면, Observatory는 이를 급증으로 표시합니다.
몇 가지 세부 사항이 신호의 신뢰성을 높여줍니다. 급증한 수치는 자체 기준선에 포함되지 않으므로, 큰 이상 현상이 스스로를 숨길 수 없습니다. 공휴일은 차트에 표시되므로, 공휴일로 인한 감소는 그 자체로 설명이 됩니다. 그리고 판단할 만큼 충분한 이력이 없을 때는, Observatory가 추측 대신 "알 수 없음"이라고 표시합니다.
중요한 지표를 추적하세요
대화량, 해결률과 에스컬레이션율, 처리 시간, 최초 응답 시간, CSAT, 예측 NPS, 피드백, 액션 오류, 그리고 에이전트 고유의 Intelligent Fields를 차트로 확인할 수 있습니다. 모든 차트를 특정 앱, 특정 액션, 또는 특정 필드 값으로 좁혀보거나, 값별로 선을 나누거나, 여러 에이전트를 나란히 비교할 수 있습니다.
팀에 전달되는 알림
모든 차트를 알림으로 전환할 수 있습니다. Observatory는 모든 규칙을 매시간 점검하며, 이메일, Slack, 여러분의 도구로 보내는 webhook, 그리고 에이전트의 Maven Inbox를 통해 알려드립니다. 별도의 설정 없이도, 일일 점검이 모든 에이전트의 대화량, 해결률, 액션 실행 현황을 검토합니다.
"CSAT는 80% 아래로 떨어져서는 안 된다"처럼, 평소 수준이 아니라 허용 가능한 수준이 문제가 되는 경우도 있습니다. 최솟값, 최댓값, 또는 둘 다 설정할 수 있으며, 목표치는 설치한 날부터 바로 작동합니다.
앞으로의 흐름을 미리 확인하세요
최대 2주 앞선 시점까지 예측하며, 예상 범위를 예측값 주변에 표시하므로, 바쁜 한 주가 오기 전에 인력 배치와 계획을 세울 수 있습니다.
대화 전체를 살펴보세요
시각화 뷰를 통해 대화의 주제, 각 유형별 진행 방식, 최종적으로 어디로 이어지는지, 한 주제가 다른 주제로 어떻게 이어지는지, 그리고 에이전트가 가장 바쁜 시간대를 확인할 수 있습니다. Conversation DNA는 최근 대화의 단계별 흐름을 보여줍니다.
Notebook, 인사이트, 예약 리포트
차트와 뷰를 여러분만의 메모와 함께 Notebook으로 모을 수 있으며, 비공개로 두거나 팀과 공유할 수 있고, 특정 차트 하나의 링크를 누구에게나 보낼 수 있습니다. Maven에게 경영진 요약, 이상 현상에 대한 설명, 또는 궁금한 질문에 대한 답을 요청할 수도 있습니다. 그런 다음 해당 Notebook을 매일, 매주, 2주마다, 또는 매달 본인과 팀원들에게 이메일로 받아볼 수 있습니다.
중요한 이유
하나의 에이전트가 지원, 커머스, 그리고 그 사이의 모든 일을 처리할 때, 그 에이전트의 상태는 곧 비즈니스의 상태입니다. Observatory는 에이전트를 여러분이 직접 확인해야 하는 대상에서, 먼저 여러분에게 알려주는 존재로 바꿔줍니다.
- 며칠이 아니라 몇 분 만에 문제를 발견합니다. 통합 오류나 에스컬레이션 급증은 다음 시간 단위 점검에서 바로 드러나며, 밀린 업무가 되기 전에 확인할 수 있습니다.
- 잘못된 경보가 줄어듭니다. 계절적 기준선 덕분에 팀은 실제로 이례적인 변화에 대해서만 알림을 받게 됩니다.
- 에이전트 성과를 하나의 시각으로 공유합니다. Notebook과 예약 리포트는 CX, 운영, 경영진에게 동일한 그림을, Maven이 그 의미를 요약한 내용과 함께 제공합니다.
지금 시작하세요
Observatory는 현재 Maven App Directory에서 이용하실 수 있습니다. 설치 방법은 다음과 같습니다.
- Agent Designer에서 App Directory를 열고 Observatory를 찾아 설치를 클릭합니다.
- 모니터링하고 싶은 에이전트를 선택합니다.
- Overview를 열고, 일일 점검 수신자로 팀을 추가합니다.
자세한 안내가 필요하신가요? Maven 팀에 문의하거나 데모 예약을 진행해 보세요.
귀사의 실제 대화로 확인하세요.
맞춤형 무료 데모를 신청하세요.
