115 מילישניות להחלטה: AWS משחררת את Strands Decider 2B כ-open-source

גם AWS מצטרפת לטרנד של "מודלי החלטה" קטנים. Strands Decider 2B הוא מודל open-source עם 2 מיליארד פרמטרים, שנבנה על בסיס Qwen3.5-2B. הוא לא מייצר טקסט חופשי: הוא בוחר תשובה מתוך רשימת אפשרויות, מצרף לה ציון ביטחון, ומחזיר תוצאה תוך כ-115 מילישניות על RTX 3090 ביתי.

Swami Sivasubramanian, סגן נשיא Agentic AI ב-AWS, אמר שמודלי החלטה "תמיד מחזירים תשובה מתוך האפשרויות שנבחרו" ורצים ב-latency נמוך מאוד על CPU או GPU מקומי. Matt Wood, ה-Chief AI & Technology Officer של AWS, פירט את השימושים שהם מכוונים אליהם:

- איזה כלי להפעיל

- לאיזה מודל לנתב בקשה

- האם פעולה עוברת guardrail

- סיווג פשוט, למשל זיהוי ספאם

אלה ההחלטות הקטנות שכל agent מקבל בכל סבב. היום הרבה צוותים שולחים אותן למודלים המובילים והיקרים.

הקטגוריה מתמלאת מהר. Perplexity שחררה כ-open-source את pplx-decider-27b יחד עם Decisions API ב-4 סנט למיליון token קלט, ו-Hugging Face הוסיפה תמיכה במודלי החלטה ל-llama.cpp. הבחירה ב-Qwen מעלה השבוע גם שאלה לא נוחה: ביקורות עצמאיות מצאו צנזורה מובנית במודלי Qwen. ארגונים ירצו לדעת מה בסיס Qwen מכניס למודל ניתוב שמקבל החלטות guardrail.

במקביל חשפה AWS תצוגה מקדימה של Well-Architected Agent, שמשתמש ב-AI כדי לייעל סביבות ענן בעלות, אבטחה וביצועים. כדאי לעקוב אחרי שילוב Strands Decider ב-AgentCore, והאם benchmark עצמאי ישווה אותו למודל הגדול של Perplexity.