אם רוצים שהמודל יענה על נהלים, חוזים או קטלוג שמתעדכן, מתחילים בדרך כלל ב-RAG. אם רוצים לשנות סגנון, פורמט או התנהגות שחוזרת על עצמה, Fine-Tuning עשוי להתאים. אלה כלים שונים, לא מתחרים שמנסים לפתור אותה בעיה.
איך RAG עובד
המערכת מאנדקסת מסמכים, מאתרת קטעים רלוונטיים לכל שאלה ומצרפת אותם להקשר של המודל. היתרון הוא עדכניות, אפשרות לצרף מקור ומחיקה מהירה של מידע. האתגר הוא איכות חיפוש, חלוקת מסמכים והרשאות.
מה Fine-Tuning משנה
Fine-Tuning מאמן מודל על דוגמאות כדי שיחקה התנהגות: מבנה תשובה, סיווג, טון או החלטה עקבית. הוא אינו בסיס נתונים אמין לעובדות שמשתנות כל שבוע, וקשה יותר לעדכן או להסביר מאיפה הגיעה תשובה.
השוואת עלות ותחזוקה
RAG דורש Pipeline למסמכים, אינדקס, Retrieval והערכה שוטפת. Fine-Tuning דורש Dataset איכותי, הרצות אימון ובדיקות רגרסיה. לרוב מתחילים ב-Prompt ו-RAG, ורק כשהצטברו דוגמאות וידוע מה חסר שוקלים Fine-Tuning.
אבטחת ידע ארגוני
ההרשאה צריכה לפעול לפני החיפוש, לא אחרי יצירת התשובה. כל משתמש צריך לקבל רק קטעים שהיה רשאי לראות במערכת המקור. בנוסף מגדירים Retention, הצפנה, מחיקה ומדיניות לגבי ספקי מודלים.
איך מודדים איכות
בונים סט שאלות אמיתי עם תשובות ומקורות צפויים. מודדים Retrieval, נאמנות למקור, סירוב כשאין מידע וזמן תגובה. Demo מוצלח על שלוש שאלות אינו Evaluation.