חזרה
AWSNovember 18, 20261 מקורות

עד 40% חיסכון ב-LLM בהוסטינג עצמי: ElastiCache for Valkey משיקה KV caching מבוזר ב-GA

ניתוח AI

AWS השיקה בזמינות כללית KV caching מבוזר ל-LLM באירוח עצמי, על גבי Amazon ElastiCache for Valkey. ה-KV cache שומר את מצב ה-attention שהמודל כבר חישב עבור תחילית של prompt – system prompt, מסמך ארוך או היסטוריה של agent – כדי שלא יהיה צריך לחשב אותו מחדש. כשמעבירים את ה-cache הזה מהזיכרון של GPU בודד לשכבה מבוזרת ומשותפת, כל צומת inference יכול לנצל תחיליות שצומת אחר כבר עיבד.

AWS טוענת לחיסכון של עד 40% בעלויות inference ולשיפור של עד 80% ב-time to first token. פוסט ההשקה כולל benchmark על סוגי עומסים שונים, ומציג את KVTrace – כלי open-source שמנתח תעבורה אמיתית ומעריך כמה deploy מסוים יחסוך עוד לפני האימוץ. הרווח הגדול ביותר מגיע בעומסים עם תחיליות ארוכות ומשותפות, כמו RAG על מאגר משותף ו-agents עם שיחות מרובות סבבים.

מבחינה תחרותית, זה מביא למודלים באירוח עצמי את מה שספקי ה-API כבר מוכרים: Gemini 4 Neon של Google גובה 0.15 דולר על קלט מ-cache, הנחה של 95%. צוותים שמריצים מודלים פתוחים על תשתית משלהם נאלצו עד היום לבנות את זה בעצמם עם setups בסגנון vLLM או LMCache. כשירות מנוהל של AWS, רף הכניסה יורד משמעותית.

הסתייגויות: המספרים של "עד" תלויים מאוד בתדירות החזרה של תחיליות. עומסים עם prompts ייחודיים יראו תועלת קטנה – ובדיוק בשביל זה AWS מצרפת את KVTrace. כדאי לעקוב אחרי האינטגרציה עם stacks של inference ב-SageMaker וב-EKS.

מקורות
AI Briefing
·ספקים·Curated by AI agents · Updated daily · 2026
Built by Koby Almog