컨텍스트 윈도우

컨텍스트 윈도우란?

컨텍스트 윈도우는 대규모 언어 모델(LLM)이 응답을 생성할 때 "볼" 수 있고 고려할 수 있는 정보의 총량입니다. 토큰(영어 단어 약 ¾ 분량) 단위로 측정되며, 에이전트의 동작을 정의하는 시스템 프롬프트, 고객과의 대화 기록, RAG로 검색된 문서, 에이전트가 사용할 수 있는 도구와 함수 등 모델이 처리하는 모든 것을 포함합니다.

AI의 작업 메모리라고 생각하면 됩니다. 128,000토큰 컨텍스트 윈도우를 갖춘 모델은 한 번에 약 96,000단어, 즉 장편 소설 한 권 분량의 정보를 담을 수 있습니다. 4,000토큰 윈도우의 모델은 약 3,000단어, 대략 6페이지 분량을 담을 수 있습니다.

고객 서비스에서 컨텍스트 윈도우 크기가 중요한 이유

고객 지원에서 컨텍스트 윈도우 크기는 AI 상호작용의 품질에 직접적인 영향을 미칩니다. 컨텍스트 윈도우가 크면 에이전트는 다음을 할 수 있습니다.

• 길게 주고받는 대화에서도 전체 대화 기록을 기억
• 방대한 제품 문서와 정책 세부 사항을 처리
• 고객의 과거 상호작용과 계정 이력을 고려
• 맥락을 놓치지 않고 복잡한 다중 질문을 처리

컨텍스트 윈도우가 작으면 어떤 정보를 포함하고 무엇을 제외할지 시스템이 결정해야 하는 절충이 생깁니다. 고객의 질문에 답하려면 상세한 제품 매뉴얼과 3개월간의 대화 기록을 모두 이해해야 하는 경우, 컨텍스트 윈도우가 제한적이면 에이전트가 핵심 정보를 놓칠 수 있습니다.

기술적 배경: 최신 프런티어 모델은 128K2M 토큰의 컨텍스트 윈도우를 제공하며, 이는 2023년 표준이던 4K8K 토큰에서 크게 늘어난 수준입니다. 이러한 확장으로 AI 에이전트가 대화 컨텍스트와 함께 지식 베이스 전체를 처리하는 것이 현실화되었습니다.

컨텍스트 윈도우와 지식 베이스 비교

컨텍스트 윈도우와 지식 베이스는 목적이 다릅니다. 지식 베이스는 조직의 모든 정보를 영구적으로 저장합니다. 컨텍스트 윈도우는 특정 상호작용을 위해 모델에 로드되는 그 정보의 일부입니다. RAG와 지식 그래프 기법은 각 질의마다 지식 베이스에서 어떤 정보를 컨텍스트 윈도우에 넣을지 지능적으로 선택해 두 영역을 연결합니다.

Maven의 강점: 지능형 컨텍스트 관리

Maven AGI는 지식 그래프를 활용해 모든 상호작용에서 가장 관련성 높은 정보가 컨텍스트 윈도우를 채우도록 합니다. 사용 가능한 모든 정보를 윈도우에 밀어 넣는 대신, Maven의 검색 시스템은 현재 질의에 필요한 정책, 계정 정보, 대화 기록을 정확히 찾아냅니다. 이러한 지능형 컨텍스트 관리 덕분에 복잡한 멀티턴 대화에서도 높은 해결률을 달성할 수 있습니다.

Maven 도입 성과: Mastermind는 Maven AGI로 60% 더 많은 문의를 처리하면서 93%의 라이브 채팅 해결률을 달성했습니다. 지능형 컨텍스트 관리가 정확도를 희생하지 않고도 확장 가능하다는 것을 보여줍니다.

자주 묻는 질문

대화가 컨텍스트 윈도우를 초과하면 어떻게 되나요?

정보가 컨텍스트 윈도우를 초과하면 대화의 이전 부분이나 관련성이 낮은 검색 문서가 요약되거나 제외됩니다. 잘 설계된 시스템은 가장 중요한 컨텍스트를 보존하고 나머지는 요약하므로, 에이전트가 대화 도중 핵심 정보를 "잊지" 않습니다.

컨텍스트 윈도우가 클수록 항상 성능이 더 좋은가요?

반드시 그렇지는 않습니다. 컨텍스트 윈도우가 크면 더 많은 정보를 담을 수 있지만 노이즈도 함께 늘어날 수 있습니다. 연구에 따르면 매우 긴 컨텍스트의 중간에 묻힌 관련 정보를 모델이 찾지 못하는 경우가 있습니다. 윈도우 크기 자체보다 올바른 정보를 윈도우에 넣는 스마트한 검색이 더 중요합니다.

컨텍스트 윈도우 크기는 어떻게 측정하나요?

컨텍스트 윈도우는 토큰 단위로 측정합니다. 토큰 1개는 영어 단어 약 ¾에 해당합니다. 128K 토큰 컨텍스트 윈도우는 약 96,000단어를 담을 수 있습니다. 토큰화 방식은 모델과 언어에 따라 다르며, 영어 이외의 텍스트와 코드는 일반적으로 단어당 더 많은 토큰을 사용합니다.