חלון הקשר (Context Window)

מהו חלון הקשר?

חלון הקשר הוא סך המידע שמודל שפה גדול (LLM) יכול "לראות" ולהביא בחשבון כשהוא מייצר תגובה. חלון ההקשר נמדד בטוקנים (בערך ¾ מילה) וכולל את כל מה שהמודל מעבד: פרומפט המערכת שמגדיר את התנהגות הסוכן, היסטוריית השיחה עם הלקוח, מסמכים שאוחזרו באמצעות RAG, והכלים והפונקציות שזמינים לסוכן.

חשבו על זה כעל זיכרון העבודה של ה-AI. מודל עם חלון הקשר של 128,000 טוקנים יכול להחזיק בערך 96,000 מילים בבת אחת — כמו רומן שלם. מודל עם חלון של 4,000 טוקנים יכול להחזיק כ-3,000 מילים, כלומר בערך 6 עמודים.

למה גודל חלון ההקשר חשוב לשירות לקוחות

בתמיכת לקוחות, גודל חלון ההקשר משפיע ישירות על איכות האינטראקציות עם ה-AI. חלון הקשר גדול יותר מאפשר לסוכן:

• לזכור את היסטוריית השיחה המלאה, גם בהתכתבויות ארוכות
• לעבד תיעוד מוצר נרחב ופרטי מדיניות
• להביא בחשבון אינטראקציות קודמות של הלקוח ואת היסטוריית החשבון
• לטפל בשאלות מורכבות ומרובות חלקים בלי לאבד את החוט

חלון הקשר קטן מחייב פשרות: המערכת צריכה להחליט איזה מידע לכלול ואיזה להשמיט. אם שאלת הלקוח מחייבת הבנה של מדריך מוצר מפורט וגם של היסטוריית שיחות מ-3 החודשים האחרונים, חלון הקשר מוגבל עלול לגרום לסוכן לפספס פרטים קריטיים.

הקשר טכני: מודלי החזית העדכניים מציעים היום חלונות הקשר של 128K עד 2M טוקנים — זינוק דרמטי לעומת חלונות של 4K-8K טוקנים שהיו הסטנדרט ב-2023. ההתרחבות הזו הפכה את עיבוד מאגרי ידע שלמים לצד הקשר השיחה למעשי עבור סוכני AI.

חלון הקשר לעומת מאגר ידע

חלון הקשר ומאגר ידע משרתים מטרות שונות. מאגר הידע שומר את כל המידע של הארגון באופן קבוע. חלון ההקשר הוא תת-הקבוצה של המידע הזה שנטענת למודל לאינטראקציה מסוימת. טכניקות RAG וגרף ידע מגשרות על הפער בכך שהן בוחרות בצורה חכמה איזה מידע ממאגר הידע להכניס לחלון ההקשר בכל שאילתה.

היתרון של Maven: ניהול הקשר חכם

Maven AGI משתמשת בגרף ידע כדי להבטיח שהמידע הרלוונטי ביותר ימלא את חלון ההקשר בכל אינטראקציה. במקום לדחוס לחלון את כל מה שזמין, מערכת האחזור של Maven מזהה בדיוק אילו מדיניות, פרטי חשבון והיסטוריית שיחה רלוונטיים לשאילתה הנוכחית. ניהול ההקשר החכם הזה הוא מה שמאפשר שיעורי פתרון גבוהים גם בשיחות מורכבות ומרובות סבבים.

הוכחה מ-Maven: Mastermind השיגה 93% פתרון בצ'אט חי עם Maven AGI תוך טיפול ב-60% יותר פניות — הוכחה לכך שניהול הקשר חכם גדל בקנה מידה בלי לוותר על דיוק.

שאלות נפוצות

מה קורה כששיחה חורגת מחלון ההקשר?

כשהמידע חורג מחלון ההקשר, חלקים ישנים יותר בשיחה או מסמכים פחות רלוונטיים שאוחזרו מסוכמים או מושמטים. מערכות שתוכננו היטב שומרות את ההקשר החשוב ביותר ומסכמות את השאר, כך שהסוכן לא "שוכח" פרטים קריטיים באמצע השיחה.

האם חלון הקשר גדול יותר תמיד אומר ביצועים טובים יותר?

לא בהכרח. חלונות הקשר גדולים מאפשרים יותר מידע, אבל עלולים גם להכניס רעש. מחקרים מראים שמודלים מתקשים לפעמים למצוא מידע רלוונטי כשהוא קבור באמצע הקשר ארוך מאוד. אחזור חכם שמכניס לחלון את המידע הנכון חשוב יותר מגודל החלון עצמו.

איך מודדים את גודל חלון ההקשר?

חלונות הקשר נמדדים בטוקנים. טוקן הוא בערך ¾ ממילה באנגלית. חלון הקשר של 128K טוקנים מכיל כ-96,000 מילים. הפיצול לטוקנים משתנה לפי מודל ושפה — טקסט שאינו באנגלית וקוד צורכים בדרך כלל יותר טוקנים למילה.