AWS משיקה את UAEF: 36 מדדים לבחינת agents בלי תלות ב-framework
AWS פרסמה את Universal Agent Evaluation Framework (UAEF), מערכת להערכת AI agents בלי קשר ל-framework שבו נבנו. היא תומכת ב-LangGraph, LangChain, Strands Agents ו-Bedrock AgentCore. UAEF נותנת ציון ל-agents לפי 36 מדדים מובנים שמחולקים לשבעה ממדים, בהם דיוק בקריאה לכלים ותיאום בין agents. לפי FourWeekMBA, 24 מהמדדים רצים דרך Bedrock.
המנגנון המרכזי הוא נרמול traces. כל framework מתעד ריצה בצורה אחרת: איך הוא רושם קריאות לכלים, שלבי הסקה ביניים, העברות בין agents ופלטים סופיים. UAEF משתמשת ב-adapters כדי להמיר את ה-traces האלה לפורמט אחיד, ואז מפעילה עליהם את אותו ניקוד. AWS מתארת את המערכת כ-closed-loop, כלומר תוצאות ההערכה חוזרות לשיפור ה-agent, במקום להסתכם בדוח חד-פעמי.
זה פותר את אחד המכשולים העיקריים ל-agents ב-production. צוותים בונים לעתים קרובות אב-טיפוס ב-framework אחד ועוברים אחר כך לאחר, או מריצים כמה במקביל ביחידות עסקיות שונות, ועד עכשיו לא הייתה להם דרך עקבית להשוות איכות. כלי הערכה קיימים מ-LangSmith, Arize, Braintrust ואחרים, אבל רובם קשורים לאקוסיסטם מסוים או דורשים instrumentation ייעודי. אפשרות ניטרלית שנתמכת על ידי AWS יכולה להפוך לברירת המחדל בארגונים שכבר עובדים עם Bedrock. היא גם מחזקת את המשיכה של AgentCore, כי הערכה היא עוד סיבה להישאר על הפלטפורמה.
כמה הסתייגויות: framework שבנתה ספקית ענן, שרוב המדדים שלו רצים על המודלים שלה, הוא לא באמת ניטרלי. מדדים שמבוססים על מודל שופט גם יורשים את ההטיות שלו, שעלולות להעדיף סגנונות תשובה מסוימים. צוותים צריכים לבדוק עד כמה ציוני UAEF מתואמים עם תוצאות אמיתיות אצל משתמשים לפני שהם סומכים עליהם. כדאי לעקוב אחרי אימוץ מחוץ ל-AWS, תרומות מצד המתחזקים של LangChain ו-frameworks אחרים, והאם ספקיות ענן מתחרות ישחררו כלים דומים שחוצים frameworks.
