כל כמה חודשים, עולם ה-AI הארגוני מייצר מונח חדש שחוזרים עליו עד שהוא מאבד משמעות. Responsible AI. Human in the loop. Guardrails. מילים שהתחילו כמושגים טכניים מדויקים והפכו לקיצורי דרך שיווקיים עוד לפני שמישהו הסכים על מה הן מתארות בפועל.
שליטה דטרמיניסטית נמצאת בסכנה ללכת באותה דרך.
זו בעיה. בניגוד לרוב השפה סביב ממשל AI, המונח הזה מתאר משהו ספציפי באמת: עיקרון תכנון עם השלכות ארכיטקטוניות ממשיות ועם הבדל מדיד בתוצאות לעומת החלופה. אם ניתן לו להפוך למעורפל, יהיה לזה מחיר.
אז לפני שזה קורה: הנה מה ששליטה דטרמיניסטית אומרת בפועל, למה היא חשובה לסוכני AI בסביבות מורכבות, ואיך היא נראית בפרקטיקה לעומת הגישה שהיא מחליפה.
שתי דרכים לנהל סוכן AI
הגישה הרווחת היום לממשל סוכני AI היא ממשל הסתברותי. לסוכן יש גישה רחבה למערכות ולנתונים. הוא מסיק מה רלוונטי ומה מתאים בהקשר הנתון. מסנני פלט, guardrails ובדיקות לאחר היצירה תופסים בעיות אחרי שהן כבר קרו. שיקול הדעת של המודל הוא המנגנון העיקרי ששומר על ההתנהגות בגבולות המקובל.
זה עובד מספיק טוב בסביבות אחידות יחסית. כשמגוון האינטראקציות האפשריות צפוי, אותם כללים חלים על כל המשתמשים וההקשרים, והפער בין רלוונטי למתאים קטן, ממשל הסתברותי מניב תוצאות סבירות ברוב המקרים.
הבעיה היא בדיוק ה"ברוב המקרים". בסביבות רגישות, מורכבות או מרובות משתתפים, מקרי הקצה אינם נדירים, הם מובנים במערכת. וכשהם מתרחשים, מערכות הסתברותיות נכשלות בדרכים שקשה לחזות, קשה להסביר וקשה לתפוס לפני שנגרם נזק.
שליטה דטרמיניסטית נוקטת גישה שונה מהיסוד. במקום לתת לסוכן לקבוע מה אפשרי ולהסתמך על בדיקות בהמשך הדרך כדי לתפוס טעויות, הפלטפורמה מגדירה מה הסוכן רשאי לעשות עוד לפני שהוא מתחיל. גישה, פעולות, ספי הסלמה והרשאות ספציפיות לכל משתתף נקבעים מראש, כמגבלות קשיחות ולא כהנחיות שהמודל שוקל מול גורמים אחרים.
הסוכן פועל אז עם מלוא יכולת ההסקה שלו, אבל בתוך גבול שנקבע לפני שנגע במשהו.
למה הסדר חשוב יותר מהכללים
הדבר החשוב ביותר בשליטה דטרמיניסטית אינו הכללים עצמם, אלא מתי הם נאכפים. רוב מסגרות הממשל מופעלות בדיעבד: אחרי שהסוכן שלף מידע, יצר תגובה או ביצע פעולה. שליטה דטרמיניסטית מקדימה את נקודת האכיפה, לפני שליפה, הסקה או יצירה כלשהי.
ההבחנה הזו משמעותית יותר ממה שנשמע.
כשהממשל מופעל אחרי היצירה, הסוכן כבר ניגש לנתונים שאולי לא היה רשאי להשתמש בהם והסיק מהם מסקנות. גם אם הפלט נתפס ומסונן, התהליך הפנימי שיצר אותו לא היה מבוקר. בקנה מידה גדול, סינון לאחר היצירה הוא משחק הגנה מול בעיה שנוצרה כבר בשלב הראשון.
כשהזכאות נאכפת לפני השליפה, הסוכן לעולם אינו ניגש לנתונים שמחוץ לתחום. הבעיה לא מסוננת בהמשך — היא פשוט לא נכנסת למערכת מלכתחילה. הסוכן לא יכול להסיק מנתונים שהוא לא רואה.
"לא אמור להשתמש" ו"לא יכול לגשת" מניבים תוצאות שונות מאוד בסביבת ייצור. הראשון תלוי בכך שהמודל יציית להוראות באופן עקבי בכל הקשר אפשרי. השני לא תלוי במודל בכלל.
ארבע השאלות שחייבות לקבל מענה לפני שהסוכן פועל
בפועל, שליטה דטרמיניסטית פירושה קביעת תשובות ברורות לארבע שאלות בתחילת כל אינטראקציה.
באיזה ממשק מדובר? האם האינטראקציה מגיעה מממשק לקוח, מפורטל סוחרים, מאפליקציית נהגים או מכלי פנימי? הממשק קובע את הקשר הבסיס לכל מה שבא אחריו. אין להסיק אותו מרמזים בשיחה, אלא להעביר אותו כקלט קשיח משכבת האימות והניתוב של הפלטפורמה.
אילו נתונים זכאים? על סמך הממשק, הזהות המאומתת והתפקיד: אילו מערכות ומקורות נתונים נמצאים בתחום של האינטראקציה הזו? זכאות אינה הצעה לסוכן, היא מסנן קשיח על מה שניתן לשלוף. נתונים שאינם זכאים לא מוסתרים מהסוכן. הם פשוט לא זמינים לשליפה. ההבחנה הזו חשובה ברמת המימוש.
אילו פעולות מותרות? מה הסוכן יכול לעשות בפועל בהקשר הזה? להנפיק החזר? לסמן מחלוקת? לעדכן שדה בחשבון? ליזום הסלמה? הפעולות המותרות מוגדרות במפורש לפי ממשק, תפקיד ומדיניות, ולא מוסקות מכוונת השיחה. לקוח ששואל אם הסוכן יכול לשנות את ההגדרות של סוחר לא מכניס את הפעולה הזו לתחום. הפעולות המותרות נקבעות על ידי הפלטפורמה, לא על ידי תוכן הבקשה.
איפה עובר קו ההסלמה? לכל הקשר צריך להיות סף מוגדר שמעבר לו הסוכן עוצר ומעביר לאדם. זה לא פתרון גיבוי למקרה שמשהו משתבש, אלא חלק מתכנון מודל האינטראקציה. בפלטפורמות שבהן החלטה אחת יכולה להשפיע על כמה קבוצות משתתפים, שיקול דעת אנושי אינו סימן לכישלון של ה-AI. לעתים קרובות זו ההחלטה הנכונה, והארכיטקטורה צריכה להפוך את המעבר אליו לפשוט.
את ארבע השאלות האלה לא הסוכן עונה. הפלטפורמה עונה עליהן, מקודדת אותן כמגבלות ואוכפת אותן לפני שהסוכן פועל.
מה זה לא
כמה דברים ששליטה דטרמיניסטית מתבלבלת איתם לעתים קרובות, ולמה ההבחנות חשובות.
זה לא תסריט נוקשה. סוכנים מבוססי תסריט עוקבים אחרי תהליכים קבועים ולא מתמודדים עם שונות. סוכני AI בשליטה דטרמיניסטית יכולים להסיק בחופשיות, לטפל בקלטים חדשים ולייצר תגובות גמישות, רק בתוך הקשר תחום. המגבלה חלה על גישה ופעולה, לא על הסקה.
זה לא הגבלת יכולות. טענה נפוצה נגד מסגרות ממשל היא שהן הופכות סוכנים לפחות שימושיים. שליטה דטרמיניסטית לא מצמצמת את מה שהסוכן יכול לעשות, היא מגדירה את הממשק שעליו הוא עושה זאת. סוכן שפועל בתחום הזכאי ללקוח מסוגל לחלוטין בתוך התחום הזה. הגבול לא מחליש את ההסקה; הוא מנהל את הסביבה שבה ההסקה פועלת.
זה לא נפתר עם פרומפטים טובים יותר. ממשל מבוסס פרומפטים אומר לסוכן איך להתנהג. שליטה דטרמיניסטית אומרת לפלטפורמה מה הסוכן רשאי לעשות. אפשר לעקוף פרומפטים, לפרש אותם לא נכון או להטביע אותם בהקשר. עם מגבלות זכאות שנאכפות בשכבת הארכיטקטורה אי אפשר להתווכח.
זה לא רק לפלטפורמות רב-צדדיות. שליטה דטרמיניסטית רלוונטית בכל מקום שבו ההשלכות של טעויות AI אינן סימטריות: כשטעות באינטראקציה אחת משפיעה על צדדים שלא היו חלק ממנה, כשרגישות הנתונים משתנה משמעותית לפי הקשר, או כשדרישות רגולטוריות הופכות ממשל הסתברותי ללא מספיק. פלטפורמות רב-צדדיות הן המקרה הברור ביותר, אבל לא היחיד.
שליטה דטרמיניסטית בעולם האמיתי
איך זה נראה בפועל במערכת שפועלת בסביבת ייצור?
לפני שאינטראקציה כלשהי מתחילה, הפלטפורמה קובעת את ההקשר: ממשק, משתמש מאומת, תפקיד, מדיניות פעילה. ההקשר הזה מועבר כקלט מובנה, לא כשפה טבעית בפרומפט, אלא כפרמטרים קשיחים שקובעים למה הסוכן יכול לגשת.
שליפת הידע של Agent Maven מוגבלת למקורות הזכאים להקשר הזה. סט הפעולות שלו מוגבל לפעולות המותרות. ספי ההסלמה שלו מוגדרים. שום דבר מזה לא נראה בשיחה, הכול קורה לפני שהשיחה מתחילה.
אז Agent Maven עושה את מה שסוכני AI עושים היטב: מבין את הבקשה, שולף מידע רלוונטי בתוך התחום הזכאי, מסיק מהי התגובה הטובה ביותר ופועל בהתאם. על ממשק שהפלטפורמה תכננה, ולא על ממשק שגילה בעצמו.
התוצאה היא סוכן שמתנהג בעקביות, לא כי אמרו לו, אלא כי הארכיטקטורה הופכת חוסר עקביות לקשה מבחינה מבנית.
זו המשמעות האמיתית של שליטה דטרמיניסטית. בסביבות שבהן המחיר של חוסר עקביות גבוה, זה ההבדל בין AI שמגדיל אמון לבין AI שמכרסם בו בשקט.
ראו את זה על השיחות שלכם.
בקשו הדגמה מותאמת אישית ללא עלות.
