עד 40% חיסכון ב-LLM בהוסטינג עצמי: ElastiCache for Valkey משיקה KV caching מבוזר ב-GA

AWS השיקה בזמינות כללית KV caching מבוזר ל-LLM באירוח עצמי, על גבי Amazon ElastiCache for Valkey. ה-KV cache שומר את מצב ה-attention שהמודל כבר חישב עבור תחילית של prompt – system prompt, מסמך ארוך או היסטוריה של agent – כדי שלא יהיה צריך לחשב אותו מחדש. כשמעבירים את ה-cache הזה מהזיכרון של GPU בודד לשכבה מבוזרת ומשותפת, כל צומת inference יכול לנצל תחיליות שצומת אחר כבר עיבד.
AWS טוענת לחיסכון של עד 40% בעלויות inference ולשיפור של עד 80% ב-time to first token. פוסט ההשקה כולל benchmark על סוגי עומסים שונים, ומציג את KVTrace – כלי open-source שמנתח תעבורה אמיתית ומעריך כמה deploy מסוים יחסוך עוד לפני האימוץ. הרווח הגדול ביותר מגיע בעומסים עם תחיליות ארוכות ומשותפות, כמו RAG על מאגר משותף ו-agents עם שיחות מרובות סבבים.
מבחינה תחרותית, זה מביא למודלים באירוח עצמי את מה שספקי ה-API כבר מוכרים: Gemini 4 Neon של Google גובה 0.15 דולר על קלט מ-cache, הנחה של 95%. צוותים שמריצים מודלים פתוחים על תשתית משלהם נאלצו עד היום לבנות את זה בעצמם עם setups בסגנון vLLM או LMCache. כשירות מנוהל של AWS, רף הכניסה יורד משמעותית.
הסתייגויות: המספרים של "עד" תלויים מאוד בתדירות החזרה של תחיליות. עומסים עם prompts ייחודיים יראו תועלת קטנה – ובדיוק בשביל זה AWS מצרפת את KVTrace. כדאי לעקוב אחרי האינטגרציה עם stacks של inference ב-SageMaker וב-EKS.