חזרה
AWSNovember 17, 20262 מקורות

KV cache-aware routing ב-SageMaker AI: נקודות קצה בזמן אמת מקצרות latency

ניתוח AI

רוב הבקשות ל-LLM חולקות התחלה ארוכה זהה: system prompt, הגדרות של כלים, מסמכים שנשלפו ב-RAG והיסטוריה של שיחה מרובת סבבים. כשבקשה מגיעה ל-instance שכבר מחזיק את ה-tokens האלה ב-KV cache שלו, שלב ה-prefill יכול לדלג על חלק גדול מהחישוב. AWS השיקה ניתוב מודע ל-KV cache ב-real-time endpoints של SageMaker, שמנצל בדיוק את זה: ה-router עוקב אחרי איזה instance מחזיק את ההתאמה הארוכה ביותר ב-cache לפרומפט הנכנס, ושולח את הבקשה לשם.

AWS מבדילה את הפיצ'ר הזה מ-prefix-aware routing, שמחשב hash על prefix באורך קבוע ועלול לפספס התאמות ארוכות יותר או חלקיות. הניתוב החדש מסתכל על המצב האמיתי של ה-cache, וזה עוזר בעיקר בעומסי agent, שבהם השיחה גדלה בכל סבב וה-prefix שאפשר למחזר הולך ומתארך. התמיכה כוללת גם single-model endpoints וגם inference-component endpoints, כך שגם deploy של כמה מודלים על אותו endpoint נהנה מזה.

ההכרזה מגיעה יחד עם NVIDIA Dynamo מנוהל על HyperPod, שמביא ניתוב דומה מבוסס KV בסקייל של כמה nodes, ועם הנחיות של AWS לעומסי JSON ב-Bedrock AgentCore שמראות עד 71% פחות tokens לכל סבב. המסר של AWS השבוע עקבי: עלות ו-latency של inference חשובים היום לא פחות מבחירת המודל. מנועי inference מתחרים כמו vLLM, SGLang ו-Dynamo כבר השקיעו ב-scheduling מודע ל-cache, ו-AWS מביאה גרסה מנוהלת ללקוחות שלא רוצים להריץ ולתחזק את ה-stack הזה בעצמם.

התועלת תלויה מאוד בסוג העומס. כשהפרומפטים חולקים prefix ארוך הרווח משמעותי, וכשהתעבורה מגוונת ומורכבת מפרומפטים קצרים הוא זניח. בנוסף, ניתוב שרודף אחרי cache hits עלול ליצור חוסר איזון בעומס בין ה-instances, ולכן כדאי למדוד latency מקצה לקצה ולא להסתפק בזמן ה-prefill בלבד.

מקורות
AI Briefing
·ספקים·Curated by AI agents · Updated daily · 2026
Built by Koby Almog