RAG (Retrieval Augmented Generation)

מהו RAG (Retrieval Augmented Generation)?

Retrieval Augmented Generation (RAG) היא ארכיטקטורת AI שמשלבת אחזור מידע עם יצירת טקסט כדי להפיק תשובות מדויקות ומבוססות. במקום להסתמך רק על הידע הפנימי של מודל שפה גדול (LLM), שעלול להיות מיושן או חלקי, RAG מאחזר מסמכים רלוונטיים ממקור ידע חיצוני ומעביר את ההקשר הזה למודל השפה בזמן היצירה. גישת "אחזור ואז יצירה" היא הבסיס של פלטפורמות שירות לקוחות מבוסס AI מודרניות, כי היא מצמצמת הזיות AI ומבטיחה שהתשובות מבוססות על מידע עדכני ומאומת.

איך RAG עובד

צינור ה-RAG פועל בשני שלבים עיקריים: אחזור ויצירה.

שלב האחזור: כשלקוח שולח שאילתה, המערכת ממירה אותה ל-vector embedding צפוף – ייצוג מספרי שלוכד את המשמעות הסמנטית. ה-embedding הזה מושווה לאינדקס וקטורי של מסמכים שעברו עיבוד מקדים (מאמרי עזרה, תיעוד מוצר, דפי מדיניות, פניות קודמות) באמצעות אלגוריתמי חיפוש דמיון כמו cosine similarity או approximate nearest neighbor (ANN). מקטעי המסמכים הרלוונטיים ביותר מאוחזרים ומדורגים. יישומים מתקדמים משלימים את החיפוש הווקטורי בשאילתות על knowledge graph ובאחזור מבוסס מילות מפתח (חיפוש היברידי), כדי ללכוד גם משמעות סמנטית וגם התאמות מדויקות כמו קודי מוצר או מזהי שגיאה.

שלב היצירה: מקטעי המסמכים שאוחזרו מוזרקים ל-prompt של ה-LLM כהקשר. מודל השפה מייצר תשובה שמשלבת את המידע שאוחזר לתשובה קוהרנטית בשפה טבעית. מכיוון שהמודל מתבסס על חומר מקור אמיתי ולא רק על הזיכרון הפרמטרי שלו, התשובה מבוססת עובדתית וניתנת לייחוס למסמכים ספציפיים.

מערכות RAG ברמת פרודקשן מוסיפות שלבי ביניים: שכתוב שאילתות לשיפור איכות האחזור, דירוג מחדש (reranking) לתעדוף המקטעים הרלוונטיים ביותר, וטכניקות RAG Fusion שממזגות תוצאות מכמה אסטרטגיות אחזור. השיפורים האלה מפחיתים רעש ומגבירים את הדיוק.

למה RAG חשוב

מודלי שפה גדולים הם מחוללי טקסט עוצמתיים, אבל יש להם מגבלה קריטית: הם עלולים להפיק מידע שנשמע נכון אבל שגוי עובדתית. זו הזיה, ובשירות לקוחות היא עלולה להתבטא במדיניות חיוב שגויה, בשלב פתרון תקלות לא נכון או בפיצ'ר שלא קיים. RAG מתמודד עם זה על ידי עיגון כל תשובה בראיות שאוחזרו.

מאמר היסוד על RAG של Lewis ועמיתיו (2020), שפורסם בכנס NeurIPS, הראה ששילוב של מודל שפה מאומן מראש עם מאחזר נוירוני על פני מסמכים חיצוניים מפיק תוצרים ספציפיים, מגוונים ועובדתיים יותר ממודלים פרמטריים בלבד. מאז הפכה הארכיטקטורה הזו לסטנדרט ביישומי AI עתירי ידע, כפי שמתועד במחקר ה-RAG המקורי ב-arXiv.

בשירות לקוחות, ההשפעה של RAG ישירה. סוכן ה-AI יכול לציין את מקורותיו, צוותי התמיכה יכולים לאמת את הדיוק, והלקוחות מקבלים תשובות המבוססות על הידע האמיתי של החברה ולא על ניחוש של המודל. RAG גם מאפשר לשמור על ה-AI עדכני בקלות: מעדכנים את אינדקס המסמכים, וה-AI משקף מיד את המידע החדש ללא אימון מחדש.

מקרי שימוש ויישומים

RAG הוא עמוד השדרה הטכני של תמיכת AI מדויקת בכל התעשיות:

• תמיכת לקוחות: אחזור מאמרי עזרה, תיעוד מוצר ונתוני חשבון כדי לספק תשובות מדויקות לשאלות לקוחות
• ניהול ידע פנימי: מתן אפשרות לעובדים לחפש ב-Confluence, Notion, Google Drive ומאגרים נוספים בשפה טבעית
• ציות ותעשיות מפוקחות: עיגון כל תשובת AI במסמכי מדיניות מאושרים ושמירת תיעוד ציטוטים לצורכי ביקורת
• פתרון תקלות טכניות: שליפת תיעוד שגיאות, מסמכי עזר של API ודפוסי פתרון קודמים כדי להנחות אינטראקציות תמיכה ב-SaaS
• תמיכה רב-לשונית: אחזור מסמכי מקור בשפה אחת ויצירת תשובות בשפה המועדפת על הלקוח

היתרון של Maven

הפלטפורמה של Maven AGI בנויה על ארכיטקטורת RAG מתוחכמת. Agent Maven משתמש בחיפוש היברידי שמשלב vector embeddings צפופים עם שאילתות מובנות על knowledge graph על פני יותר מ-100 מקורות נתונים מחוברים. דירוג מחדש רב-שלבי ומיזוג הקשרים מבטיחים שהמידע הרלוונטיי ביותר יגיע לשכבת היצירה, ומפיקים תשובות מדויקות ומלאות.

Enumerate, חברת PropTech, השיגה שיעור פתרון של 91% עם Maven AGI. רמת דיוק כזו אפשרית רק משום שצינור ה-RAG של Maven מאחזר מידע מאומת ממאגר הידע וממערכות המוצר של החברה עצמה, ולא מהזיכרון הפרמטרי של ה-LLM – וכך מבטל את סכנת ההזיות שפוגעת באמון בתמיכת AI.

Maven AGI, שגייסה $78 מיליון, רואה ב-RAG שכבת יסוד. כל תשובה ש-Agent Maven מייצר מבוססת על ראיות שאוחזרו, עם ציון מקורות לשקיפות מלאה. זו הסיבה שלקוחות Maven כמו K1x מגיעים ל-80% פתרון (פי 10 מה-AI הקודם) ו-Papaya Pay משיגה 90% פתרון אוטונומי. מידע נוסף זמין במחקר של IBM Research על Retrieval Augmented Generation, ואפשר גם לקרוא איך אחזור היברידי מתקדם במחקר עדכני על RAG עם knowledge graphs.

שאלות נפוצות

איך RAG מצמצם הזיות AI?

RAG מצמצם הזיות בכך שהוא מתנה את פלט מודל השפה במסמכי מקור שאוחזרו, במקום להסתמך רק על הפרמטרים הפנימיים. המודל שואב מקטעי טקסט ספציפיים ומאומתים. אם ההקשר שאוחזר אינו מכיל את התשובה, מערכות RAG מתוכננות היטב מודות בפער במקום להמציא תשובה.

מהם vector embeddings ולמה הם חשובים ל-RAG?

Vector embeddings הם ייצוגים מספריים של טקסט שלוכדים משמעות סמנטית. למילה "החזר" ולביטוי "לקבל את הכסף שלי בחזרה" יהיו embeddings דומים, אף שאין ביניהם מילים משותפות. ב-RAG, ה-embeddings מאפשרים חיפוש סמנטי: המערכת מוצאת מסמכים רלוונטיים מבחינה רעיונית ולא רק התאמות של מילות מפתח. זה מה שהופך את RAG ליעיל בהרבה מחיפוש מסורתי עבור AI שיחתי.

האם RAG מחייב אימון מחדש של מודל השפה?

לא. אחד היתרונות המרכזיים של RAG הוא שאין צורך לאמן מחדש את מודל השפה כשהמידע משתנה. הצוותים מעדכנים את אינדקס המסמכים, ושכבת האחזור מציגה מיד את המידע העדכני בזמן היצירה. לכן RAG מתאים במיוחד לסביבות דינמיות כמו תמיכה ב-SaaS, שבהן התיעוד משתנה לעיתים קרובות.

מהו חיפוש היברידי במערכת RAG?

חיפוש היברידי משלב חיפוש סמנטי מבוסס וקטורים עם אחזור מבוסס מילות מפתח (BM25 או דומה). חיפוש וקטורי מצטיין בהבנת משמעות וכוונה, בעוד שחיפוש מילות מפתח עדיף להתאמות מדויקות כמו קודי מוצר ומזהי שגיאה. השילוב מבטיח שצינור ה-RAG יאחזר תוצאות רלוונטיות, בין אם השאילתה שיחתית ובין אם ספציפית. Maven AGI משתמשת בגישה ההיברידית הזו בכל פלטפורמת תמיכת ה-AI הארגונית שלה.