コンテキストウィンドウ

コンテキストウィンドウとは？

コンテキストウィンドウとは、大規模言語モデル（LLM）が回答を生成する際に「見る」ことができ、考慮できる情報の総量です。トークン（英単語のおよそ¾）単位で測定され、モデルが処理するすべてのもの、つまりエージェントの動作を定義するシステムプロンプト、顧客との会話履歴、RAGで検索されたドキュメント、エージェントが利用できるツールや関数が含まれます。

AIのワーキングメモリと考えるとわかりやすいでしょう。128,000トークンのコンテキストウィンドウを持つモデルは、一度に約96,000語の情報を保持でき、これは長編小説1冊分に相当します。4,000トークンのウィンドウでは約3,000語、つまり6ページ程度しか保持できません。

カスタマーサービスでコンテキストウィンドウのサイズが重要な理由

カスタマーサポートでは、コンテキストウィンドウのサイズがAIの対応品質に直接影響します。コンテキストウィンドウが大きいと、エージェントは次のことが可能になります。

• 長いやり取りでも、会話履歴全体を記憶する
• 大量の製品ドキュメントやポリシーの詳細を処理する
• 顧客の過去のやり取りやアカウント履歴を考慮する
• 複数の要素を含む複雑な質問にも、内容を見失わずに対応する

コンテキストウィンドウが小さいと、どの情報を含め、どの情報を外すかというトレードオフが生じます。顧客の質問に答えるために詳細な製品マニュアルと3か月分の会話履歴の両方を理解する必要がある場合、コンテキストウィンドウが限られていると、エージェントが重要な情報を見落とす可能性があります。

技術的背景： 最新のフロンティアモデルでは、128Kから2Mトークンのコンテキストウィンドウが提供されており、2023年に標準だった4K-8Kトークンから飛躍的に拡大しました。これにより、AIエージェントが会話コンテキストとあわせてナレッジベース全体を処理することが現実的になりました。

コンテキストウィンドウとナレッジベースの違い

コンテキストウィンドウとナレッジベースは、目的が異なります。ナレッジベースは組織のすべての情報を恒久的に保存します。コンテキストウィンドウは、その情報のうち特定のやり取りのためにモデルに読み込まれる一部分です。RAGやナレッジグラフの手法は、クエリごとにナレッジベースからどの情報をコンテキストウィンドウに配置するかをインテリジェントに選択し、両者を橋渡しします。

Mavenの強み：インテリジェントなコンテキスト管理

Maven AGIはナレッジグラフを活用し、すべてのやり取りで最も関連性の高い情報がコンテキストウィンドウに入るようにしています。利用可能な情報をすべて詰め込むのではなく、Mavenの検索システムは、現在のクエリにとってどのポリシー、アカウント情報、会話履歴が重要かを的確に特定します。このインテリジェントなコンテキスト管理により、複雑な複数ターンの会話でも高い解決率を実現しています。

Mavenの実績： MastermindはMaven AGIで、対応件数が60%増加する中でライブチャットの93%の解決を達成しました。インテリジェントなコンテキスト管理が、正確性を損なうことなくスケールできることを示しています。

よくある質問

会話がコンテキストウィンドウを超えるとどうなりますか？

情報がコンテキストウィンドウを超えると、会話の古い部分や関連性の低い検索ドキュメントが要約されるか、除外されます。適切に設計されたシステムは最も重要なコンテキストを保持し、それ以外を要約するため、エージェントが会話の途中で重要な情報を「忘れる」ことはありません。

コンテキストウィンドウが大きいほど、常にパフォーマンスは向上しますか？

必ずしもそうとは限りません。コンテキストウィンドウが大きいほど多くの情報を扱えますが、ノイズが入り込む可能性もあります。研究によれば、非常に長いコンテキストの中ほどに埋もれた情報は、モデルが見つけにくくなることがあります。ウィンドウのサイズそのものよりも、適切な情報をウィンドウに配置するスマートな検索のほうが重要です。

コンテキストウィンドウのサイズはどのように測定されますか？

コンテキストウィンドウはトークン単位で測定されます。1トークンは英単語のおよそ¾に相当します。128Kトークンのコンテキストウィンドウには約96,000語が収まります。トークン化の方法はモデルや言語によって異なり、英語以外のテキストやコードでは一般的に1語あたりのトークン数が多くなります。