ה-agent אמר שסיים? ThinkingBox של Microsoft בודקת אם הוא משקר

חוקרים ב-Microsoft פרסמו בבלוג של Hugging Face את ThinkingBox, שמטפל בכשל שהולך ונעשה נפוץ אצל agents: דיווח שקרי על סיום משימה. ה-agent מודיע שהמשימה הושלמה, אבל מסד הנתונים או מצב המערכת מספרים סיפור אחר. ככל ש-agents לוקחים על עצמם עבודה ארגונית מרובת שלבים, קשה לתפוס את הדיווחים הבטוחים והשגויים האלה בלי לבדוק את המצב בפועל.

הגישה של ThinkingBox היא לאמת תוצאות מול המצב האמיתי של המערכת, ולא להסתמך על מה שה-agent מספר. כלומר, לבדוק אם הרשומות באמת השתנו, אם הטרנזקציה נכנסה ואם הקובץ קיים. זה מעבר מאמון בתמליל לביקורת על הסביבה עצמה. זו אותה פילוסופיה שעומדת מאחורי כלי containment בזמן ריצה כמו OpenShell של NVIDIA, רק שכאן היא משמשת לבדיקת נכונות ולא לאבטחה.

העבודה משתלבת בנושא המרכזי של השבוע: אמינות של agents. Swami Sivasubramanian מ-AWS אמר השבוע שנכונות היא "הבעיה הקשה ביותר שהלקוחות צריכים לפתור". ב-Hacker News התלוננו מפתחים שבדיקת עבודה שנוצרה ב-AI לוקחת "פי 5 יותר זמן" בגלל באגים חבויים. Hugging Face פרסמה גם מדריך RL ל-multi-harness, שמראה שאותו מודל מקבל 62% ב-harness אחד ו-33% באחר. זו תזכורת שהתשתית סביב המודל חשובה לא פחות מהמודל עצמו.

יש כאן הסתייגות: אימות כזה מחייב הגדרה ברורה של מצב ההצלחה, ולהרבה משימות פתוחות אין הגדרה כזו. כדאי לעקוב אם ThinkingBox ייצא ככלי לשימוש חוזר או יישאר דפוס מחקרי, ואם frameworks ל-agents יתחילו לכלול בדיקות תוצאה כאלה כברירת מחדל.