Context Window

Apa Itu Context Window?

Context window adalah total informasi yang dapat "dilihat" dan dipertimbangkan oleh large language model (LLM) saat menghasilkan respons. Diukur dalam token (kira-kira ¾ kata), context window mencakup semua yang diproses model: system prompt yang menentukan perilaku agen, riwayat percakapan dengan pelanggan, dokumen apa pun yang diambil melalui RAG, serta tool dan fungsi yang tersedia bagi agen.

Anggap saja ini sebagai memori kerja AI. Model dengan context window 128.000 token dapat menampung sekitar 96.000 kata informasi sekaligus — setara dengan satu novel utuh. Model dengan context window 4.000 token hanya dapat menampung sekitar 3.000 kata, atau kira-kira 6 halaman.

Mengapa Ukuran Context Window Penting bagi Layanan Pelanggan

Dalam dukungan pelanggan, ukuran context window berdampak langsung pada kualitas interaksi AI. Context window yang lebih besar memungkinkan agen untuk:

• Mengingat seluruh riwayat percakapan, bahkan dalam tanya-jawab yang panjang
• Memproses dokumentasi produk dan detail kebijakan yang ekstensif
• Mempertimbangkan interaksi sebelumnya dan riwayat akun pelanggan
• Menangani pertanyaan kompleks yang terdiri dari banyak bagian tanpa kehilangan alur

Context window yang kecil memaksa adanya kompromi: sistem harus memutuskan informasi mana yang dimasukkan dan mana yang dibuang. Jika pertanyaan pelanggan menuntut pemahaman atas manual produk yang detail sekaligus riwayat percakapan selama 3 bulan, context window yang terbatas membuat agen berisiko melewatkan detail penting.

Konteks teknis: Model frontier modern kini menawarkan context window sebesar 128K hingga 2M token, peningkatan drastis dari context window 4K-8K token yang menjadi standar pada 2023. Perluasan ini membuat agen AI kini praktis untuk memproses seluruh knowledge base bersama konteks percakapan.

Context Window vs. Knowledge Base

Context window dan knowledge base memiliki fungsi yang berbeda. Knowledge base menyimpan seluruh informasi organisasi secara permanen. Context window adalah bagian dari informasi tersebut yang dimuat ke dalam model untuk interaksi tertentu. Teknik RAG dan knowledge graph menjembatani keduanya dengan memilih secara cerdas informasi mana dari knowledge base yang dimasukkan ke context window untuk setiap kueri.

Keunggulan Maven: Manajemen Konteks yang Cerdas

Maven AGI menggunakan knowledge graph untuk memastikan informasi yang paling relevan mengisi context window di setiap interaksi. Alih-alih menjejali context window dengan semua informasi yang tersedia, sistem pengambilan Maven mengidentifikasi secara tepat kebijakan, detail akun, dan riwayat percakapan mana yang penting untuk kueri saat ini. Manajemen konteks yang cerdas inilah yang memungkinkan tingkat penyelesaian tinggi, bahkan pada percakapan multi-giliran yang kompleks.

Bukti dari Maven: Mastermind mencapai 93% penyelesaian live chat dengan Maven AGI sambil menangani 60% lebih banyak kontak — membuktikan bahwa manajemen konteks yang cerdas dapat diskalakan tanpa mengorbankan akurasi.

Pertanyaan Umum

Apa yang terjadi jika percakapan melebihi context window?

Jika informasi melebihi context window, bagian percakapan yang lebih lama atau dokumen yang kurang relevan akan diringkas atau dibuang. Sistem yang dirancang dengan baik mempertahankan konteks terpenting dan meringkas sisanya, sehingga agen tidak "lupa" detail penting di tengah percakapan.

Apakah context window yang lebih besar selalu berarti performa lebih baik?

Belum tentu. Context window yang lebih besar memang menampung lebih banyak informasi, tetapi juga bisa menambah noise. Riset menunjukkan bahwa model dapat kesulitan menemukan informasi relevan jika informasi tersebut terkubur di tengah konteks yang sangat panjang. Pengambilan informasi cerdas yang menempatkan informasi yang tepat di context window lebih penting daripada sekadar ukurannya.

Bagaimana ukuran context window diukur?

Context window diukur dalam token. Satu token kira-kira setara dengan ¾ kata bahasa Inggris. Context window 128K token menampung sekitar 96.000 kata. Tokenisasi berbeda-beda tergantung model dan bahasa — teks non-Inggris dan kode umumnya memerlukan lebih banyak token per kata.