多くのAIエージェントの設計には、ほとんど検証されないまま組み込まれている前提があります。それは「質問への回答に関連するデータであれば、エージェントはそれを使ってよい」というものです。
一見もっともらしく聞こえますが、これは誤りです。
顧客と加盟店、乗客とドライバー、クライアントとサービス提供者など、複数の参加者グループを抱えるプラットフォームを運営する組織にとって、この前提こそがAI導入をいつの間にか信頼の問題へと変えてしまう原因です。
関連性の落とし穴
ある顧客が配達の遅れについてサポートに問い合わせ、何が起きたのかを知りたいと返金を求めています。
最も関連性の高い情報には、レストランの平均調理時間、その注文における具体的な調理時間、ドライバーのルート履歴、配達中に発生したフラグなどが含まれます。いずれも直接役に立ち、より的確で正確な回答につながります。
しかしそれは同時に、本来見る立場にない顧客に対してレストランの業務パフォーマンスデータを開示することになります。正当な手続きを経ずにドライバーの行動を問題視することにもなります。そして、どちらの当事者も知らず同意もしないまま、一方の結果と他方のデータを直接結びつけてしまいます。
エージェントがミスをしたわけではありません。関連する情報を見つけて使うという、設計どおりの動作をしただけです。誤りは、関連性と権限を同じものだと見なしたことにあります。
この区別が見た目以上に難しい理由
シングルサイドの製品では、関連性と権限はおおむね一致します。質問するユーザー自身が、対象となるデータの持ち主でもあるからです。役に立つ情報と許可された情報の差はわずかで、ほとんどのエージェントは問題なく対応できます。
マルチサイドプラットフォームでは、この前提が完全に崩れます。
参加者グループごとに、固有のデータ、ワークフロー、プライバシーへの期待、そして公正な結果の定義があります。AIエージェントが共有ナレッジベースからそのすべてにまたがって動作する場合、扱っているのは1つのデータ環境ではありません。明確な境界のない複数の環境を同時に扱っているのです。
そこでは、3つの失敗パターンが繰り返し現れます。
サーフェス間のデータ漏えい。 あるサーフェスで関連する情報が、実は別のサーフェスの参加者に属している場合です。加盟店の紛争履歴を参照できる顧客向けエージェント、顧客の苦情内容を表示する加盟店ポータル、プラットフォームレベルの処分データに言及するドライバー向けインターフェースなどが該当します。
他の領域で検証されない影響を生むアクション。 顧客側のサーフェスで実行された返金が、加盟店側のサーフェスで支払額の控除を引き起こします。最初のアクションは実行できても、その結果を把握できないAIエージェントは、一見妥当な判断を下しながら、自らは気づくことのない問題を生み出します。フィードバックループが閉じないのです。
参加者グループによる対応の不一致。 「なぜ支払額が減ったのか」という同じ質問でも、加盟店が尋ねるかドライバーが尋ねるかで、意味は根本的に異なります。参照できるデータ、適切な回答、許可されるアクションはすべて異なります。明確なサーフェス境界を持たないエージェントは、技術的には正確でも文脈的には誤った回答を生成してしまいます。
いずれもAIエージェントの責任ではなく、アーキテクチャの欠陥です。エージェントは、どこに線が引かれているのかを一度も教えられていなかったのです。
関連性は出発点であり、許可ではない
重要なのは、次のように捉え直すことです。関連性はエージェントが何を探すかの判断材料にすべきですが、実際に何にアクセスできるかは適格性によって決まるべきです。
これは2つの別々の問いであり、順番に答える必要があります。
最初に来るのは適格性です。エージェントが何かを取得する前に、プラットフォームは次の問いにすでに答えている必要があります。このやり取りはどのサーフェスから来ているのか。どの参加者グループが認証されているのか。このサーフェス、このロール、このポリシーの文脈で、対象となるデータとアクションは何か。関連性がどれほど高くても、絶対に扱ってはならないものは何か。
これらはモデルが推論すべき問いではありません。エージェントが動き出す前に、プラットフォームが決定論的に適用する制約です。関連性はその制約の代わりではなく、その制約の範囲内で機能します。
その実務上の効果は大きいものです。顧客サーフェスに限定されたエージェントが、誤って加盟店データを表示することはありません。そう指示されているからではなく、そのデータが最初から適格ではないからです。プロンプトによる指示は推論によって回避され得ますが、適格性の制約は回避できません。
この違いは見た目以上に重要です。「使うべきではない」と「アクセスできない」では、保護のレベルがまったく異なります。大規模かつ複雑な環境で、現実のエッジケースに直面したとき、持ちこたえられるのは後者だけです。
実務における意味
これを正しく実践しているプラットフォームは、より制限の厳しいエージェントを作るのではなく、より優れたアーキテクチャのエージェントを構築しています。エージェントの推論能力は変わりません。変わるのは、その推論の土台となるサーフェスです。
その結果生まれるのは、能力の劣るエージェントではありません。すべての参加者グループから同時に信頼されるエージェントです。マルチサイドプラットフォームにおいて、スケールするのはまさにその能力です。
関連性は良い回答へと導き、適格性は信頼できる回答へと導きます。
自社の会話でお試しください。
無料の個別デモをお申し込みください。
