관련성은 권한이 아니다: 아무도 말하지 않는 AI 접근 권한 문제

대부분의 AI 에이전트 설계에는 거의 검증되지 않은 가정이 깔려 있습니다. 질문에 답하는 데 관련된 데이터라면 에이전트가 사용할 수 있어야 한다는 것입니다.

그럴듯하게 들리지만, 틀린 생각입니다.

고객과 판매자, 승객과 드라이버, 고객사와 서비스 제공자처럼 여러 참여자 그룹이 있는 플랫폼을 운영하는 조직에서는 바로 이 가정이 AI 도입을 조용히 신뢰 문제로 바꿔 놓습니다.

관련성의 함정

한 고객이 배달 지연 문제로 고객 지원에 문의합니다. 무슨 일이 있었는지 알고 싶어 하고 환불을 요청합니다.

가장 관련성 높은 정보에는 레스토랑의 평균 조리 시간, 해당 주문의 실제 조리 소요 시간, 드라이버의 경로 이력, 주문 처리 중 발생한 각종 플래그가 포함됩니다. 모두 직접적으로 유용하며, 더 정확하고 나은 답변을 만들어 줍니다.

하지만 이렇게 하면 레스토랑의 운영 성과 데이터가 그것을 볼 이유가 전혀 없는 고객에게 노출됩니다. 정당한 절차 없이 드라이버의 행동에 책임을 묻게 됩니다. 어느 쪽도 알지 못하고 동의하지 않은 상태에서 한쪽의 결과와 다른 쪽의 데이터를 직접 연결하게 됩니다.

에이전트가 실수한 것은 아닙니다. 관련된 정보를 찾아 활용하라는, 설계된 그대로 동작했을 뿐입니다. 실수는 관련성과 권한을 같은 것으로 가정한 데 있습니다.

이 구분이 생각보다 어려운 이유

단면 제품에서는 관련성과 권한이 대체로 일치합니다. 질문하는 사용자가 곧 데이터의 당사자이기 때문입니다. 유용한 것과 허용된 것 사이의 간극이 좁아 대부분의 에이전트가 별 문제 없이 대응할 수 있습니다.

멀티사이드 플랫폼에서는 이 가정이 완전히 무너집니다.

참여자 그룹마다 고유한 데이터, 워크플로, 프라이버시에 대한 기대, 그리고 공정한 결과에 대한 기준이 있습니다. AI 에이전트가 공유 지식 베이스를 기반으로 이 모든 그룹을 아우르며 동작할 때, 에이전트는 하나의 데이터 환경이 아니라 명확한 경계 없이 여러 환경을 동시에 오가게 됩니다.

여기서 세 가지 실패 유형이 반복적으로 나타납니다.

접점 간 데이터 유출. 한 접점에서 관련성 있는 정보가 실제로는 다른 접점의 참여자에게 속한 경우입니다. 판매자 분쟁 이력을 볼 수 있는 고객용 에이전트, 고객 불만 상세 내용을 노출하는 판매자 포털, 플랫폼 차원의 제재 데이터를 언급하는 드라이버 인터페이스가 그 예입니다.

다른 곳에 검토되지 않은 영향을 초래하는 조치. 고객 접점에서 처리된 환불이 판매자 접점에서 정산금 차감으로 이어집니다. 첫 번째 조치는 실행할 수 있지만 두 번째 결과는 볼 수 없는 AI 에이전트는 그럴듯해 보이는 결정을 내리면서도, 스스로는 결코 마주하지 않을 문제를 만들어 냅니다. 피드백 루프가 닫히지 않는 것입니다.

참여자 그룹별 일관성 없는 대응. "왜 지급액이 줄었나요?"라는 같은 질문도 판매자가 묻는지 드라이버가 묻는지에 따라 의미가 근본적으로 달라집니다. 활용 가능한 데이터, 적절한 답변, 허용되는 조치가 모두 다릅니다. 접점 간 명확한 경계가 없는 에이전트는 기술적으로는 정확하지만 맥락상으로는 틀린 답변을 내놓습니다.

이 중 어느 것도 AI 에이전트의 잘못이 아닙니다. 아키텍처의 실패입니다. 에이전트는 경계가 어디인지 한 번도 안내받은 적이 없습니다.

관련성은 출발점일 뿐, 권한 부여가 아닙니다

중요한 관점 전환은 이것입니다. 관련성은 에이전트가 무엇을 찾을지 알려 주어야 하지만, 실제로 무엇에 접근할 수 있는지는 적격성이 결정해야 합니다.

서로 다른 두 질문을 순서대로 답하는 것입니다.

적격성이 먼저입니다. 에이전트가 무엇이든 조회하기 전에 플랫폼은 이미 다음 질문에 답해 두어야 합니다. 이 상호작용은 어느 접점에서 왔는가? 어떤 참여자 그룹이 인증되었는가? 이 접점, 이 역할, 이 정책 맥락에서 허용되는 데이터와 조치는 무엇인가? 관련성이 아무리 높더라도 절대 접근해서는 안 되는 것은 무엇인가?

이는 모델이 추론해서 판단할 질문이 아닙니다. 에이전트가 동작하기 전에 플랫폼이 결정론적으로 적용하는 제약입니다. 관련성은 그다음, 이 제약을 대체하는 것이 아니라 그 안에서 작동합니다.

실질적인 효과는 큽니다. 고객 접점으로 범위가 한정된 에이전트는 실수로라도 판매자 데이터를 노출할 수 없습니다. 그러지 말라고 지시받았기 때문이 아니라, 애초에 그 데이터가 접근 대상이 아니었기 때문입니다. 프롬프트 지시는 추론을 통해 우회될 수 있지만, 적격성 제약은 우회할 수 없습니다.

이 차이는 보기보다 훨씬 중요합니다. '사용하면 안 된다'와 '접근할 수 없다'는 같은 수준의 보호가 아닙니다. 대규모의 복잡한 환경에서 실제 예외 상황이 발생할 때 효과를 유지하는 것은 후자뿐입니다.

실무에서의 의미

이 문제를 제대로 해결하는 플랫폼은 더 제한적인 에이전트를 만드는 것이 아니라 더 잘 설계된 에이전트를 구축합니다. 에이전트의 추론 능력은 그대로이며, 달라지는 것은 에이전트가 추론하는 기반입니다.

그 결과는 능력이 떨어지는 에이전트가 아닙니다. 모든 참여자 그룹이 동시에 신뢰할 수 있는 에이전트입니다. 멀티사이드 플랫폼에서 확장 가능한 역량은 바로 이것입니다.

관련성은 좋은 답변으로 이끌고, 적격성은 신뢰할 수 있는 답변으로 이끕니다.