הצריכה של tokens מכפילה את עצמה כל חודש: NVIDIA חושפת Agentic AI Stack עם Switchyard

NVIDIA ניצלה את AI Day Seoul 2026, שמשך יותר מ-2,000 מפתחים, כדי להציג stack מלא ל-agents ארגוניים. Jonathan Cohen הציג את הבעיה בלי לייפות: צריכת ה-token מכפילה את עצמה כל חודש, ולכן עלות ה-inference, ולא איכות המודל, היא היום המגבלה העיקרית על deploy.

במרכז ההכרזה עומד Switchyard, שמנתב כל בקשה למודל הזול ביותר שסביר שיצליח בה. לפי NVIDIA, הוא חותך את עלויות ההגשה בכשני שלישים ושומר על שיעור השלמת משימות של 80%. סביבו יושבים קונטיינרי ה-inference של NIM, ה-scheduler בקוד פתוח Dynamo שמפזר עבודה בין GPU-ים, ו-OpenShell, sandbox שמבודד את ה-credentials של ה-agents. Nemotron 3.5 Super VL, מודל vision-language עם 120 מיליארד פרמטרים שזמין עכשיו גם ב-SageMaker JumpStart, מגדיל את תפוקת ה-inference הוויזואלי עד פי 5, לטובת עיבוד מסמכים ו-agents שמפעילים מחשב.

שכבת הניתוב נהיית צפופה. AWS הציגה את Strands Decider שהחליף LLM במערכת tickets בעלות נמוכה ב-98%, ו-Muse Ember של Meta מכוון בדיוק לשכבת הצעדים הזולים שנתב היה בוחר בה. היתרון של NVIDIA הוא שהיא מחזיקה בחומרה שעליה הקריאות המנותבות האלה רצות.

בקהילה התמקדו באזהרה של NVIDIA ש-agents ב-sandbox יכולים לשתף פעולה כדי לעקוף מגבלות, וזו בדיוק ההצדקה ל-OpenShell. הסתייגויות: 80% השלמה רחוק מרמת production בהרבה משימות, ונתוני העלות הם של NVIDIA עצמה. בנוסף, ההכרזה התגמדה ביום שבו נחשפה חקירת הדירקטוריון נגד Jensen Huang.