בקצרה

ניטור סוכני AI, או AI Agent Observability, מחבר בקשה עסקית לקריאות למודל, להפעלת כלים ולעדכונים הדרושים להשלמתה. מתחילים במזהה משימה משותף, מאמתים את התוצאה במערכת היעד ומשייכים למשימה את עלויות התפעול. כך אפשר להחליט איזה צוואר בקבוק לתקן לפני שמרחיבים את האוטומציה לעוד משתמשים ותהליכים.

הרעיון של המאמר, משורטט ב־18 שניות. לחצו על הרמקול לסאונד.

מתחילים במשימה העסקית ועוקבים אחר השלבים

לוח הניטור של המודל יכול להציג פעילות גם כשהעבודה העסקית עדיין לא הושלמה. בסוכן שפועל בפרודקשן, הגדירו משימה כתוצאה מסוימת: הצעת מחיר שנשמרה, פנייה ששויכה או רשומת לקוח שעודכנה. הקצו למשימה מזהה קבוע שנשאר זמין גם כשהטיפול ממשיך בתור משימות או בשירות אחר.

התיעוד של OpenTelemetry מתאר מעקבים, Traces, כאוספים של מקטעי פעולה, Spans. הוא מתאר גם קישורים בין מקטעים קשורים, לרבות עבודה אסינכרונית. השתמשו במבנה הזה כדי לחקור משימה עסקית, ושמרו בנפרד גם את המזהה העסקי לצורך התאמה בין הרשומות. המעקב מספק מידע לאבחון; מערכת היעד היא המקור הקובע בשאלה אם העדכון המבוקש קיים.

מעקב אחר משימות בגבול של מערכת לגאסי

דוגמה להמחשה: סוכן מכין הצעת מחיר באמצעות מערכת הזמנות קיימת. התהליך כולל שליפת פרטי לקוח, פנייה למודל, בדיקת מלאי, שמירת טיוטה והחזרת המספר שלה. תעדו מתי כל שלב מתחיל ומסתיים, אם נכשל וכיצד הוא קשור לבקשה המקורית.

מדריך הניטור של OpenTelemetry ליישומי GenAI מדגים מקטעים של קריאות למודל ולהפעלת כלים, עם שמות מודלים וספירת טוקנים. זו עדות לדוגמה המתועדת, ולא הבטחה שכל סביבת סוכנים מייצאת את אותם שדות. בדקו את רכיבי הניטור המותקנים ביישום שלכם ואת הנתונים שהם מפיקים בפועל.

אם מערכת הלגאסי (Legacy) אינה יכולה להעביר את הקשר המעקב, הוסיפו ניטור בנקודת האינטגרציה ומפו את מספר הבקשה או העבודה שלה למזהה המשימה. סמנו במפורש את פרק הזמן שאין לגביו פירוט. אל תייחסו את כולו לחישוב של המודל, ואל תשכתבו מערכת קריטית רק כדי לקבל תרשים מעקב יפה יותר.

ניהול עלויות סוכני AI דורש רישום מלא

נהלו רישום עלויות לכל ניסיון לבצע משימה, כולל ניסיונות שנכשלו. תעדו שימוש במודל, הפעלת כלים בתשלום, משאבי מחשוב שניתן לשייך למשימה ושיטת חלוקה של תשתית משותפת. מדדו בנפרד את זמן ההתערבות של עובדים; המירו אותו לכסף רק לפי תעריף מוסכם ומפורש. הציגו את עלויות הפיתוח והתחזוקה השוטפת בנפרד מעלות ההרצה המשתנה.

אל תחברו גם סכום כולל של פעולה וגם את רשומות הקריאות שכבר נכללו בו. בחרו רמת רישום קובעת לכל סוג עלות, זהו ייצוא כפול ושמרו את תאריך התמחור החל. כאשר ספק מציג חיוב מצטבר בלי פירוט לכל בקשה, סמנו את חלוקת העלויות כאומדן ובדקו שהסכום הכולל תואם לחשבון.

השתמשו באותה תקופת דיווח ובאותה קבוצת משימות למדידת העלות והתוצאות. השאירו משימות פתוחות גלויות, במקום לספור אותן כהצלחות או להעלים את ההוצאה עליהן. אם לא הושלמה אף משימה תקינה, הציגו את העלות ואפס השלמות, בלי לייצר מספר מטעה של עלות להצלחה.

אוספים ראיות בלי להעתיק כל שיחה

ההנחיות של OpenTelemetry לטיפול בנתונים רגישים ממליצות לצמצם איסוף ולבדוק את המידע שרכיבי הניטור מפיקים. יישמו זאת גם בניטור סוכנים: העדיפו מזהים תפעוליים, משכי פעולה, סוגי שגיאות וסיכומי שימוש על פני הודעות לקוח מלאות או תוכן שמוחזר מכלים. גם נתוני טלמטריה עלולים לכלול בשוגג מידע רגיש, ולכן הגדירו הרשאות ומשך שמירה.

לצורך אבחון מעמיק יותר, הגדירו תהליך איסוף יזום ומוגבל עם הסרת מידע רגיש. שמרו רישום מלא של שימוש ותוצאות גם אם שומרים רק מדגם מהמעקבים המפורטים. מדגם שנועד לאבחון אינו חשבונית מלאה ואינו מרשם מלא של המשימות.

הופכים את הנתונים להחלטה הנדסית שבועית

בדקו היכן מצטברים זמן ועלות, לפי תהליך ותוצאה. אם טיוטות של הצעות מחיר ממתינות לבדיקת מלאי, הפחתת טוקנים לא תפתור את ההמתנה. אם בקשות חוזרות להשלמת פרטים מגדילות את ההוצאה, שפרו את טופס הקליטה או את בדיקות הקלט. אם עובדים מתקנים שוב ושוב את אותו פלט, חקרו את הדפוס לפני הרחבת השימוש.

התחילו בתהליך אחד, במפתח אחראי ובגבול עלות מוסכם. הגדירו מי חוקר ולמי מסלימים כאשר משימה חורגת מתקציב הזמן או ההוצאה שלה; שמרו את מצבה כלא פתורה עד להמשך טיפול. אלה דרישות למימוש, ולא בקרות שמופיעות אוטומטית ברגע שמפעילים ניטור.

UVISION מספקת מפתחים ייעודיים ופרויקטים מנוהלים עם לפחות מפתח אחד במשרה מלאה בכל פרויקט. במערכות לגאסי קריטיות, אחריות מתמשכת כוללת חיבור יכולות AI לכללים העסקיים הקיימים, חקירת ההתנהגות בפרודקשן ותחזוקת האינטגרציות עם התפתחות המערכת. התוצר הראשון הוא תהליך אחד שאפשר להסביר את תוצאותיו, את עלות התפעול שלו ואת העבודה שעדיין ממתינה להשלמה.

שאלות נפוצות

מה זה AI Agent Observability?

AI Agent Observability הוא היכולת להבין את ההתנהגות התפעולית של סוכן באמצעות חיבור בקשה לקריאות למודל, להפעלת כלים ולפעולות במערכות אחרות. המעקב עוזר לאתר עיכובים וכשלים, ורישומי השימוש מאפשרים לשייך עלויות. השלמה עסקית עדיין דורשת ראיה ממערכת היעד: תשובה מוצלחת של המודל לבדה אינה מוכיחה שהעבודה המבוקשת נשמרה.

כמה עולה סוכן AI?

העלות תלויה בתהליך שהסוכן מבצע, בשימוש במודל, בכלים בתשלום, בתשתית ובזמן העובדים שנדרש לטיפול בחריגים. יש להפריד עלות הרצה משתנה מפיתוח ומתחזוקה שוטפת. כללו גם ניסיונות שנכשלו, סמנו חלוקות עלות שהן אומדן והתאימו את הסכומים לרישומי החיוב. דוח תפעולי שימושי מחבר את ההוצאה לתוצאות שאומתו באותה תקופת דיווח.

איך בונים סוכן AI?

מתחילים בתהליך עסקי אחד, מגדירים אילו פעולות מותרות ומה נחשב להשלמה במערכת המחוברת. בונים את החיבור למודל ולכלים, ומוסיפים מזהה משימה קבוע, בדיקות תוצאה ורישום שימוש. בודקים אילו נתונים רכיבי הניטור המותקנים מפיקים בפועל, וממנים מפתח שיהיה אחראי לחקירת כשלים ולתחזוקת האינטגרציה לאורך זמן, גם לאחר שהגרסה הראשונה כבר פועלת.

לקריאה נוספת

רוצים לבחון איך זה מתאים למערכות שלכם?

לשירות הרלוונטי