NVIDIA Dynamo מנוהל ב-SageMaker HyperPod Inference: AWS מביאה serving מבוזר בכמה nodes

הרצה של מודלים בסדר גודל של טריליון פרמטרים הפכה לבעיית תשתית לא פחות מבעיית מודל. Managed NVIDIA Dynamo ב-SageMaker HyperPod Inference נותן לזה מענה: AWS אורזת את ה-framework של NVIDIA ל-inference מבוזר כשירות מנוהל.
שלוש יכולות בולטות במיוחד. Disaggregated serving מפצל את שלב ה-prefill, שצורך הרבה חישוב, ואת שלב ה-decode, שמוגבל בזיכרון, לשתי קבוצות workers נפרדות, כך שכל אחת יכולה לגדול בנפרד ולנצל את החומרה ביעילות. KV-aware routing שולח בקשות לצמתים שכבר מחזיקים את ה-KV cache הרלוונטי, וחוסך חישוב מחדש של prefixes משותפים ב-prompt. ושחזור אוטומטי מתקלות מחליף צמתים שנפלו בלי להפיל את כל ה-deploy, דבר קריטי כשמודל אחד פרוס על פני הרבה GPUs.
המהלך משתלב במאמץ רחב יותר של AWS סביב יעילות inference. באותו יום קיבלו גם ה-real-time endpoints של SageMaker ניתוב שמודע ל-KV cache, ו-AWS פרסמה הנחיות להורדת עלויות ה-token של agents. התזמון מתאים לגודל שאליו הגיעו המודלים המובילים והפתוחים: ל-Qwen4-Max יש 2.4T פרמטרים ול-DeepSeek-V4-Pro יש 1.6T, הרבה מעבר למה שצומת בודד יכול להריץ. גם ה-stack הפתוח ל-inference מתגבש: NVIDIA תומכת ב-SGLang, ו-llama.cpp הגיע לגרסה 1.0.
הסייגים: Dynamo מנוהל מחזק את התלות בספק החומרה NVIDIA, דווקא ברגע ש-Anthropic טוענת שאפשר לבנות תמיכה ב-AMD תוך ימים. לפני שמתחייבים, כדאי להריץ benchmark על התמחור ועל העומס התפעולי מול deploy עצמאי של vLLM או SGLang.