W projektowaniu większości agentów AI tkwi założenie, którego niemal nikt nie weryfikuje: jeśli dane są przydatne do udzielenia odpowiedzi, agent powinien móc z nich skorzystać.
Brzmi rozsądnie, ale jest błędne.
W organizacjach prowadzących platformy z wieloma grupami uczestników – klientami i sprzedawcami, pasażerami i kierowcami, zleceniodawcami i usługodawcami – właśnie to założenie po cichu zamienia wdrożenia AI w problemy z zaufaniem.
Pułapka trafności
Klient kontaktuje się z obsługą w sprawie spóźnionej dostawy. Chce wiedzieć, co się stało, i prosi o zwrot pieniędzy.
Najbardziej trafne informacje to średni czas przygotowania zamówień w restauracji, konkretny czas przygotowania tego zamówienia, historia tras kierowcy oraz wszelkie sygnały ostrzegawcze z etapu realizacji. Wszystkie są bezpośrednio przydatne i pozwalają udzielić lepszej, dokładniejszej odpowiedzi.
Jednocześnie ujawniłyby dane o wynikach operacyjnych restauracji klientowi, który nie ma prawa ich oglądać. Obciążyłyby kierowcę bez rzetelnego wyjaśnienia sprawy. Bezpośrednio powiązałyby rezultat jednej strony z danymi drugiej – bez wiedzy i zgody którejkolwiek z nich.
Agent nie popełnił błędu – zrobił dokładnie to, do czego go zaprojektowano: znalazł trafne informacje i z nich skorzystał. Błędem było założenie, że trafność i uprawnienie to to samo.
Dlaczego to rozróżnienie jest trudniejsze, niż się wydaje
W produkcie jednostronnym trafność i uprawnienia w dużej mierze się pokrywają. Osoba zadająca pytanie jest zarazem właścicielem danych, których ono dotyczy. Różnica między tym, co przydatne, a tym, co dozwolone, jest na tyle niewielka, że większość agentów radzi sobie z nią bez incydentów.
Platformy wielostronne całkowicie podważają to założenie.
Każda grupa uczestników ma własne dane, procesy, oczekiwania dotyczące prywatności i własne rozumienie sprawiedliwego rozstrzygnięcia. Gdy agent AI obsługuje je wszystkie, korzystając ze wspólnej bazy wiedzy, nie porusza się w jednym środowisku danych. Porusza się w kilku jednocześnie, bez twardych granic między nimi.
Regularnie pojawiają się 3 rodzaje błędów:
Wycieki danych między interfejsami. Informacje istotne w jednym interfejsie należą do uczestnika z innego. Agent obsługujący klientów widzi historię sporów sprzedawcy, portal sprzedawcy pokazuje szczegóły reklamacji klientów, a interfejs kierowcy odwołuje się do danych o egzekwowaniu zasad na poziomie platformy.
Działania, które wywołują niezweryfikowane skutki gdzie indziej. Zwrot przyznany w interfejsie klienta powoduje potrącenie z wypłaty w interfejsie sprzedawcy. Agent AI, który może wykonać pierwsze działanie, ale nie widzi drugiego skutku, będzie podejmował pozornie rozsądne decyzje, tworząc problemy, z którymi nigdy się nie zetknie. Pętla informacji zwrotnej się nie zamyka.
Niespójne traktowanie grup uczestników. To samo pytanie – dlaczego moja płatność została obniżona? – znaczy coś zupełnie innego w zależności od tego, czy zadaje je sprzedawca, czy kierowca. Dostępne dane, właściwa odpowiedź i dozwolone działania są w każdym przypadku inne. Agent bez twardych granic między interfejsami udziela odpowiedzi technicznie poprawnych, ale nieadekwatnych do kontekstu.
Żaden z tych błędów nie jest winą agenta AI – to błędy architektury. Nikt nie wskazał agentowi, gdzie przebiegają granice.
Trafność to punkt wyjścia, a nie upoważnienie
Oto kluczowa zmiana perspektywy: trafność powinna wskazywać, czego agent szuka, ale to uprawnienia powinny decydować, do czego faktycznie ma dostęp.
To 2 osobne pytania, na które odpowiada się po kolei.
Najpierw uprawnienia. Zanim agent cokolwiek pobierze, platforma musi już znać odpowiedzi na pytania: z jakiego interfejsu pochodzi ta interakcja? Która grupa uczestników jest uwierzytelniona? Jakie dane i działania są dostępne dla tego interfejsu, tej roli i tego kontekstu zasad? Co jest bezwzględnie wykluczone, niezależnie od tego, jak bardzo mogłoby być przydatne?
Nad tymi pytaniami nie powinien zastanawiać się model. To ograniczenia, które platforma egzekwuje w sposób deterministyczny, zanim agent rozpocznie pracę. Trafność działa dopiero w ich ramach, a nie zamiast nich.
Praktyczny efekt jest znaczący. Agent ograniczony do interfejsu klienta nie może przypadkowo ujawnić danych sprzedawcy. Nie dlatego, że otrzymał takie polecenie, lecz dlatego, że te dane od początku nie były dla niego dostępne. Instrukcje w prompcie można obejść. Ograniczeń uprawnień – nie.
To rozróżnienie ma większe znaczenie, niż mogłoby się wydawać. „Nie powinien używać” i „nie ma dostępu” to nie ten sam poziom ochrony. Przy dużej skali, w złożonych środowiskach i przy rzeczywistych przypadkach brzegowych sprawdza się tylko ten drugi.
Co to oznacza w praktyce
Platformy, które robią to dobrze, nie budują bardziej ograniczonych agentów – budują agentów o lepszej architekturze. Zdolność agenta do wnioskowania pozostaje bez zmian; zmienia się środowisko, w którym wnioskuje.
Efektem nie jest mniej skuteczny agent, lecz agent, któremu mogą jednocześnie ufać wszystkie grupy uczestników. Na platformach wielostronnych to właśnie ta cecha pozwala się skalować.
Trafność prowadzi do dobrej odpowiedzi. Uprawnienia – do odpowiedzi godnej zaufania.
Przekonaj się na własnych rozmowach.
Poproś o bezpłatne, spersonalizowane demo.
