בקצרה

הערכת סוכני AI בודקת אם הסוכן משלים את המשימה העסקית בתנאים מוגדרים. בכל גרסה משווים את המצב הקיים למועמד החדש על אותם מקרים, מאמתים תוצאות במערכת המחוברת ועוקבים אחר כשלים, התערבות אנושית ועלות. תשובה משכנעת לבדה אינה ראיה להצלחה או להשלמת העבודה בפועל.

הרעיון של המאמר, משורטט ב־18 שניות. לחצו על הרמקול לסאונד.

בודקים את השינוי, ולא רק את ההדגמה

סוכן שכבר עוזר לצוות יכול להשתנות כשמחליפים מודל, הוראות, כלים או מקורות מידע. מתייחסים לגרסה המוצעת כמועמדת חדשה, במקום להניח שעריכה קטנה תגרום להשפעה קטנה. מתעדים מה בדיוק השתנה ועל אילו מסלולים עסקיים השינוי עלול להשפיע.

הערכת סוכנים (AI agent evaluation) מבחינה בין תשובה לבין ביצוע. Anthropic מבדילה בין מה שהסוכן דיווח לבין התוצאה בסביבתו. Google Cloud מתעדת בנפרד הערכת תשובה סופית והערכת מסלול הפעלת הכלים. מכאן נגזרת שאלה מעשית לפני שחרור: האם העבודה הסתיימה כראוי, והאם הדרך להשלמתה הייתה מותרת?

בונים דף מקרים שהאחראי העסקי יכול לבדוק

דוגמה להמחשה: סוכן שמנתב בקשות שירות לצוות המתאים. דף המקרה צריך לכלול את הבקשה, מצב המערכת הרלוונטי, פעולות מותרות וראיות לתוצאה תקינה. התוצאה הצפויה יכולה להיות שיוך לתור מסוים, בקשה למידע חסר או העברה לאדם.

שומרים קבוצת מקרים קבועה להשוואה ומפרידים ממנה מקרים המשמשים לשיפור הסוכן. כוללים עבודה שגרתית וחריגים שחשובים לעסק. משתמשים ברשומות סינתטיות או בנתונים שהוסרו מהם פרטים רגישים כראוי. מאפסים את סביבת הבדיקה בין הרצות, כדי ששיוך קודם לא יגרום לניסיון הבא להיראות מוצלח.

  • בקשה מלאה: הצוות הנכון ושיוך אחד בלבד.
  • מיקום חסר: בקשת המיקום בלי לנחש.
  • שירות ניתוב לא זמין: תיעוד המקרה הפתוח להמשך טיפול.
  • מבקש לא מורשה: אין חשיפה של בקשת לקוח אחר.

AI agent evaluation metrics: מדדים לקבלת החלטה

מתעדים משימות שהושלמו כראוי, הפרות כללים, העברות מיותרות לאדם, זמן שחלף ועבודה שהושקעה בתיקון. בוחנים תוצאות לפי סוג המקרה. ממוצע גבוה לא צריך להסתיר כשלים דווקא בתהליך שהעסק אינו יכול להרשות לעצמו לפגוע בו.

הנחיות ההערכה של NVIDIA מבחינות בין תוצאות המשימות לבין אופן השימוש בכלים. בדוח המוצע כאן, פעולה לא מורשית שאומתה היא סיבה לעצור שחרור ולחקור, ולא הפחתה קטנה בציון שאפשר לקזז באמצעות הצלחות רבות במקרים קלים.

בדוגמת עלות להמחשה, הרצה שעולה 30 יחידות מטבע ומניבה 60 השלמות תקינות עולה 0.50 לכל השלמה תקינה בזמן הריצה. עלות הניסיונות שנכשלו נכללת במונה. מציגים מאמץ של עובדים בנפרד, או ממירים אותו לעלות לפי תעריף מפורש ומוסכם. אין להציג את החישוב הזה כמבחן ביצועים של מוצר.

מריצים השוואה לפני שמחליטים להרחיב

משתמשים באותם נתוני התחלה ובאותן הגדרות מקרים לגרסה הקיימת ולגרסה המועמדת. חוזרים על מקרים חשובים כדי לזהות התנהגות לא עקבית, ומתעדים גם את מספר הניסיונות וגם את תוצאותיהם. בודקים מחלוקות בין בדיקות אוטומטיות לשיקול דעת אנושי; גם מודל שמעניק ציונים הוא רכיב שצריך להעריך.

מסכימים על תנאי קבלה לפני שרואים תוצאות. מתעדים אילו שינויים בזמן תגובה או בעלות אפשר לקבל ואילו כללים עסקיים אינם נתונים לפשרה. אם בדיקה נדרשת נכשלת, לא מכניסים את הגרסה לתהליך המושפע עד שמבינים את הכשל. מעבר של קבוצת בדיקות סופית הוא ראיה להפעלה מוגבלת, ולא הבטחה לגבי כל בקשה עתידית.

שומרים את דוח ההערכה לצד המערכת

שומרים יחד את הגדרות המקרים, התצורה, התוצאות והחלטת השחרור. במהלך הפעלה מוגבלת עוקבים אחר עבודה שלא הושלמה ותיקונים של אנשי הצוות. הופכים כשלים חדשים למקרי בדיקת רגרסיה ומשאירים אחראי לבירור שלהם.

כך ההערכה נעשית חלק מהמשך הפיתוח ולא הדגמת AI חד־פעמית. UVISION מספקת מפתחים ייעודיים ופרויקטים מנוהלים עם לפחות מפתח במשרה מלאה בכל פרויקט, ומחברת יכולות חדשות של סוכנים לתחזוקה ולכללים העסקיים של המערכות שעליהן הם נשענים.

שאלות נפוצות

מהי הערכה של סוכני AI?

הערכת סוכני AI בוחנת אם הסוכן משלים משימה מוגדרת כראוי ובמסגרת המגבלות שסוכמו. היא מתייחסת לתוצאות, לפעולות הרלוונטיות, לכשלים ולעלות ההפעלה. בסוכן עסקי צריך לאסוף ראיות גם מהתהליך המחובר וגם מהתשובה, מפני שתשובה יכולה לדווח על הצלחה אף שהעבודה הנדרשת לא הושלמה בפועל במערכת העסקית עצמה.

מהי בדיקה של סוכני AI?

בדיקת סוכני AI מריצה את הסוכן במקרים מוגדרים בסביבה מבוקרת ובוחנת מה קרה. אפשר לכלול בקשות שגרתיות, מידע חסר, שירותים שאינם זמינים ומגבלות גישה. איפוס מצב ההתחלה עוזר להשוות בין הניסיונות. הבדיקות מספקות ראיות להערכה, אך אינן מוכיחות שכל בקשה עתידית תסתיים בהצלחה או שתבוצע ללא תקלה.

איך מעריכים סוכני AI?

מגדירים תוצאה רצויה ופעולות מותרות לכל מקרה, ומריצים את הגרסה הקיימת והמוצעת מאותו מצב התחלה. משווים השלמות תקינות, כשלים, מאמץ של אנשי הצוות, זמן תגובה ועלות. חוזרים על מקרים חשובים, בודקים תוצאות לא צפויות ומיישמים תנאי קבלה שסוכמו מראש. שומרים את הראיות שהתקבלו לצד החלטת השחרור.

לקריאה נוספת

רוצים לבחון איך זה מתאים למערכות שלכם?

לשירות הרלוונטי