AWS משחררת את Strands Decider 2B: מודל החלטה מתחת ל-100ms לניתוב agents

ב-1 באוקטובר הציג Swami Sivasubramanian, סגן נשיא ל-Agentic AI ב-AWS, את Strands Decider 2B, כחלק מ'קטגוריה חדשה של מודלי החלטה'. מודלי reasoning מייצרים טקסט פתוח. Decider, לעומתם, בוחר מתוך סט קבוע של אפשרויות: איזה כלי לקרוא, לאיזה ענף ללכת או לאיזה agent להעביר את המשימה. והוא עושה את זה בפחות מ-100 מילישניות. בגודל של 2B פרמטרים הוא רץ מקומית, וזה מתאים לניסויים מהירים ול-deploy ב-edge.

בפועל, ה-orchestrator של ה-agent מנסח כל החלטת ניתוב כסיווג מוגבל ונותן ל-Decider לענות. את המודל המוביל, היקר, שומרים רק לשלבים שבאמת דורשים יצירת טקסט. ב-agents מרובי שלבים, קריאות הניתוב יכולות להיות רוב ה-latency ורוב העלות, ולכן בורר זול שמתנהג כמעט דטרמיניסטית יכול לקצץ בשניהם משמעותית. המודל פתוח תחת רישיון Apache 2.0, ו-AWS פרסמה גם את מתכון האימון. כך ארגונים יכולים לעשות לו fine-tune על סכמות ההחלטה שלהם.

מודלי החלטה הפכו פתאום לקטגוריה. AutoTrust שחררה את JEV-27B-VL, שמוצג כמודל ההחלטה המולטימודלי הפתוח הראשון שמתקרב ל-SOTA. Perplexity שחררה כ-open-source את pplx-decider-27b, באותו יום, יחד עם Decisions API במחיר 4 סנט למיליון. מודלי ההחלטה הפתוחים Clef של Cloudflare צברו 428 נקודות ב-HN. ב-VentureBeat צוטטה הערכה ש-AWS 'נותנת לארגונים חלופה אמינה לפני ש-Jev מספיקה לבנות עלויות מעבר'.

הסתייגויות: הדיוק של מודל בגודל 2B בהחלטות עמומות עוד לא נבדק מול מתחרים בגודל 27B, ו-AWS לא פרסמה benchmarks השוואתיים במקורות. כדאי לעקוב אחרי האינטגרציה ב-Strands Agents SDK, אחרי אירוח ב-Bedrock, ואחרי השאלה אם שכבות 'decider' יהפכו לחלק סטנדרטי ב-stack של agents או יתבררו כאופנה חולפת. החדשה השנייה של AWS באותו יום הייתה עסקת שבבים עם Synopsys בהיקף של יותר ממיליארד דולר.