AgentCore Runtime V2 ב-AWS: cold start מ-snapshot וזיכרון אלסטי

AWS השיקה דור שני של ה-runtime ב-Bedrock AgentCore, שכבת האירוח המנוהלת שלה ל-agents. Runtime V2 משחזר סשנים של agents מתוך snapshots במקום לאתחל מאפס, ומנהל זיכרון בצורה אלסטית, כלומר משחרר אותו כשה-agent לא פעיל.

cold start הוא כאב ראש מרכזי ב-agents שעולים לכל בקשה או לכל סשן משתמש. המפתחים מרוצים מהתוצאה: P75 של cold start עומד על כ-2 שניות, לעומת כ-30 שניות קודם, והחשבון יורד כי הזיכרון האלסטי מחזיר קיבולת שלא בשימוש. AWS חשפה גם את Web Answer, שמחזיר תשובות מסונתזות עם ציטוטים, ומשלים את ה-API של InvokeWebSearch שהגיע ל-GA יום אחר כך.

AgentCore כבר פלטפורמה גדולה: לפי AWS, עשרות אלפי לקוחות משתמשים בה, ונפח ה-token ב-Bedrock ברבעון השלישי זינק כמעט פי 17 בהשוואה לשנה שעברה. במסגרת המהלך הרחב השבוע פרסמה AWS גם הנחיות להגנה על זיכרון מתמשך מפני הרעלה באמצעות ולידציה רב-שכבתית של כתיבות, ארכיטקטורת ייחוס בשבע שכבות, ו-CrowdStrike שילבה את Falcon Guardian עם AgentCore Guardrails. המתחרות ב-runtime מנוהל ל-agents הן Google, Microsoft ושחקניות חדשות כמו ה-agents המנוהלים של Mistral Studio.

הסתייגויות: נתון ה-2 שניות ב-P75 מגיע מדיווחי מפתחים ולא מ-benchmark של AWS, וב-agents אינטראקטיביים מה שבאמת חשוב הוא ה-latency בזנב (P99). כדאי לעקוב אחרי שינויי תמחור שיגיעו יחד עם הזיכרון האלסטי.