Ada satu asumsi yang tertanam dalam sebagian besar desain agen AI dan jarang dipertanyakan: jika data relevan untuk menjawab sebuah pertanyaan, agen boleh menggunakannya.
Kedengarannya masuk akal, tetapi keliru.
Bagi organisasi yang menjalankan platform dengan beberapa kelompok partisipan, seperti pelanggan dan merchant, penumpang dan pengemudi, klien dan penyedia layanan, asumsi inilah yang diam-diam mengubah penerapan AI menjadi masalah kepercayaan.
Jebakan Relevansi
Seorang pelanggan menghubungi tim support karena pesanannya terlambat. Ia ingin tahu apa yang terjadi dan meminta refund.
Informasi yang paling relevan mencakup rata-rata waktu persiapan restoran, waktu persiapan spesifik untuk pesanan tersebut, riwayat rute pengemudi, serta setiap catatan yang muncul selama proses pemenuhan pesanan. Semuanya berguna secara langsung dan menghasilkan jawaban yang lebih baik dan lebih akurat.
Namun, hal itu juga akan membuka data kinerja operasional restoran kepada pelanggan yang sama sekali tidak berhak melihatnya. Perilaku pengemudi akan dipersoalkan tanpa proses yang semestinya. Hasil yang dialami satu pihak dikaitkan langsung dengan data pihak lain, tanpa sepengetahuan atau persetujuan keduanya.
Agen tersebut tidak melakukan kesalahan. Ia bekerja persis sesuai rancangannya: menemukan yang relevan lalu menggunakannya. Kesalahannya terletak pada anggapan bahwa relevansi dan izin adalah hal yang sama.
Mengapa Perbedaan Ini Lebih Sulit dari Kelihatannya
Pada produk satu sisi, relevansi dan izin umumnya sejalan. Pengguna yang bertanya juga merupakan pemilik data yang dibahas. Jarak antara apa yang berguna dan apa yang diizinkan cukup sempit sehingga sebagian besar agen dapat menanganinya tanpa insiden.
Platform multi-sisi mematahkan asumsi itu sepenuhnya.
Setiap kelompok partisipan memiliki data, alur kerja, ekspektasi privasi, dan definisi hasil yang adil masing-masing. Ketika agen AI beroperasi di semua kelompok tersebut dari knowledge base bersama, ia tidak sedang menangani satu lingkungan data. Ia menangani beberapa lingkungan sekaligus tanpa batas tegas di antaranya.
3 pola kegagalan muncul secara konsisten:
Kebocoran data antar-surface. Informasi yang relevan di satu surface ternyata milik partisipan di surface lain. Misalnya, agen pelanggan yang dapat melihat riwayat sengketa merchant, portal merchant yang menampilkan detail keluhan pelanggan, atau antarmuka pengemudi yang merujuk data penegakan aturan di tingkat platform.
Tindakan yang menimbulkan konsekuensi tak tertinjau di tempat lain. Refund yang diterbitkan di surface pelanggan memicu pemotongan pembayaran di surface merchant. Agen AI yang bisa mengambil tindakan pertama tetapi tidak bisa melihat konsekuensi kedua akan membuat keputusan yang terdengar wajar, namun menimbulkan masalah yang tidak pernah ia lihat. Feedback loop-nya tidak pernah tertutup.
Perlakuan yang tidak konsisten antar-kelompok partisipan. Pertanyaan yang sama, misalnya "mengapa pembayaran saya dipotong?", memiliki makna yang sangat berbeda tergantung apakah yang bertanya merchant atau pengemudi. Data yang boleh digunakan, respons yang tepat, dan tindakan yang diizinkan semuanya berbeda. Agen tanpa batas surface yang tegas akan menghasilkan jawaban yang akurat secara teknis tetapi keliru secara konteks.
Semua ini bukan kesalahan agen AI, melainkan kegagalan arsitektur. Agen tidak pernah diberi tahu di mana batasnya.
Relevansi adalah Titik Awal, Bukan Otorisasi
Inilah cara pandang baru yang penting: relevansi seharusnya menentukan apa yang dicari agen, tetapi eligibilitas yang menentukan apa yang benar-benar bisa ia akses.
2 pertanyaan terpisah, dijawab secara berurutan.
Eligibilitas lebih dulu. Sebelum agen mengambil data apa pun, platform harus sudah menjawab: dari surface mana interaksi ini berasal? Kelompok partisipan mana yang terautentikasi? Data dan tindakan apa yang berada dalam cakupan untuk surface, peran, dan konteks kebijakan ini? Apa yang sama sekali terlarang, serelevan apa pun itu?
Ini bukan pertanyaan yang perlu dinalar oleh model. Ini adalah batasan yang ditegakkan platform secara deterministik, sebelum agen mulai bekerja. Relevansi kemudian beroperasi di dalam batasan tersebut, bukan menggantikannya.
Dampak praktisnya signifikan. Agen yang dibatasi pada surface pelanggan tidak mungkin secara tidak sengaja menampilkan data merchant. Bukan karena ia diinstruksikan untuk tidak melakukannya, tetapi karena data tersebut sejak awal memang tidak eligible. Instruksi prompt masih bisa diakali. Batasan eligibilitas tidak.
Perbedaan ini lebih penting daripada kelihatannya. "Tidak boleh digunakan" dan "tidak bisa diakses" bukanlah tingkat perlindungan yang sama. Dalam skala besar, di lingkungan yang kompleks, dengan edge case yang nyata, hanya yang kedua yang bertahan.
Apa Artinya dalam Praktik
Platform yang melakukannya dengan benar tidak membangun agen yang lebih restriktif, melainkan agen dengan arsitektur yang lebih baik. Kemampuan penalaran agen tidak berubah; yang berubah adalah fondasi tempat ia bernalar.
Hasilnya bukan agen yang kurang mampu. Hasilnya adalah agen yang dapat dipercaya oleh setiap kelompok partisipan sekaligus. Di platform multi-sisi, itulah kemampuan yang benar-benar bisa diskalakan.
Relevansi membawa Anda ke jawaban yang baik. Eligibilitas membawa Anda ke jawaban yang tepercaya.
Lihat langsung pada percakapan Anda sendiri.
Minta demo personal gratis.
