AWS משיקה SageMaker HyperPod Inference Gateway עם ניתוב מודע-GPU
חברת AWS השיקה את SageMaker HyperPod Inference Gateway, שכבת ניתוב מנוהלת ומבוססת Kubernetes ל-inference של מודלים, שנפרסת כתוסף ל-Amazon EKS. המערכת משתמשת בסיגנלים בזמן אמת מה-GPU — ניצולת ועומס — כדי לנתב כל בקשת inference ל-pod המתאים ביותר, במקום round-robin או load balancing תמים. AWS מדווחת על ירידה של עד 82% ב-latency עד ה-token הראשון, וירידות של 97%–98% ב-latency הזנב (P95/P99) עבור Llama-3.1-8B ו-Qwen3-32B, לצד שיפור throughput של עד 50% — הכל ללא שינויים בשרתי המודל או באפליקציות הלקוח.
מספרי ה-latency בזנב הם הטענה המרכזית. latency ב-P95/P99 הוא מה שקובע אם workload אינטראקטיבי או agentic מרגיש רספונסיבי תחת עומס, וניתוב מודע-GPU תוקף ישירות את בעיות התור וה-pod העמוס שמייצרות זנבות ארוכים. מכיוון שלא נדרש שום שינוי בשרת המודל או בלקוח, חסם האימוץ נמוך לצוותים שכבר רצים על EKS.
ההשקה היא חלק משבוע צפוף של תשתיות inference אצל AWS, שכלל גם סיכום שנה של SageMaker Inference עם 13 השקות inference ב-2026 (KV caching מדורג, מאגרי instance מודעי-קיבולת, הפרדת prefill ו-decode) ואת AgentCore Runtime החדש. יחד הם מסמנים ש-AWS מתחרה על שכבת ה-serving — latency, עלות וניתוב — ולא רק על זמינות מודלים.
מפתחים קיבלו בברכה את שיפורי ה-latency בזנב כמשמעותיים ל-workloads agentic בפרודקשן שזקוקים ל-latency נמוך וצפוי. ההסתייגויות: מספרי ה-benchmark מדווחים על ידי AWS על מודלים ספציפיים (Llama-3.1-8B, Qwen3-32B), והשיפור בעולם האמיתי תלוי בדפוסי תעבורה, בתמהיל המודלים ובגודל ה-cluster. ובכל זאת, ניתוב מודע-GPU כתוסף drop-in ל-EKS הוא ניצחון פרקטי ומצטבר לצוותים שכבר מריצים inville בניהול עצמי בקנה מידה גדול.
