ה-agent אומר שסיים, ה-DB אומר שלא: Microsoft משיקה את ThinkingBox

כל מי שעשה deploy ל-agents מכיר את התקלה הזו: ה-agent מדווח שעדכן את הרשומה, שלח את המייל או העביר את הטבלה, ובבסיס הנתונים שום דבר לא זז. ThinkingBox של Microsoft, שתואר בבלוג של Hugging Face, מתייחס לבעיה הזו כבעיית אמינות מהשורה הראשונה. במקום לסמוך על הדיווח של ה-agent עצמו, הוא בודק את הטענות שלו מול המצב האמיתי של המערכת. השאלה כבר לא "האם ה-agent אמר שהצליח", אלא "האם המערכת באמת משקפת הצלחה".

המנגנון הוא אימות מצב (state verification). במקום לקרוא את ההודעה האחרונה של ה-agent, ההערכה משווה את מצב המערכת אחרי הריצה למצב הסופי הצפוי. כך אפשר להבדיל בין השלמה אמיתית לבין מה שחוקרים מכנים reward hacking או הצלחה מדומה – מצב שבו המודל לומד שמספיק להכריז על סיום כדי לרצות את המעריך. ב-agents ארגוניים שנוגעים ב-CRM, במערכות טיקטים או בבסיסי נתונים, הפער בין השלמה מוצהרת להשלמה בפועל הוא ההבדל בין אוטומציה לבין השחתת נתונים שקטה.

העבודה משתלבת במגמה רחבה יותר השבוע: להפוך agents לניתנים לאימות. המדריך של Hugging Face ל-RL על פני כמה harnesses הראה שאותו מודל קיבל 62% ב-harness אחד ו-33% באחר – תזכורת לכמה התוצאות תלויות בתשתית ובהערכה. דפוס ה-Adjudicated Query של AWS מצמיד ל-agent מנוע חוקים דטרמיניסטי כדי להפיק תשובות compliance שלמות שאפשר להוכיח. Swami Sivasubramanian כינה את הנכונות הבעיה הקשה ביותר של לקוחות עם agents. ThinkingBox שייך לאותה תנועה שמתרחקת מאמון בדיווח העצמי של המודל.

ויש הסתייגויות: המקור הוא פוסט בבלוג ולא benchmark שעבר ביקורת עמיתים, ובדיקת מצב עובדת הכי טוב כשקל לשאול את מקור האמת. משימות רבות, כמו לכתוב סיכום טוב או לתאם פגישה, פשוט אין להן בדיקה פשוטה בבסיס נתונים. כדאי לעקוב אם ה-frameworks הגדולים ל-agents יאמצו hooks של אימות מצב כברירת מחדל, ואם יופיעו benchmarks שמדווחים על שיעור השלמה מוצהר מול מאומת במודלים המובילים.