Bedrock AgentCore החדש עולה לברירת מחדל: פי 15 יותר מהיר, 68% פחות זיכרון בחשבונית
AWS העבירה כל runtime חדש של Amazon Bedrock AgentCore לארכיטקטורת הדור הבא. Swami Sivasubramanian, סגן נשיא Agentic AI ב-AWS, סיכם: סשנים של agents 'יכולים לעלות עד פי 15 מהר יותר, להתרחב לפי 4 יותר מחשוב ולרוץ ביעילות גבוהה בעד 68%', בלי לוותר על בידוד. במספרים: זמן העלייה של container image בנפח 2GB ירד מ-29.7 שניות לפחות משתי שניות ב-P75. סשן יכול להשתמש בעד 8 vCPUs ו-32GB RAM, ונתמכים images של עד 10GB.
המנגנון המרכזי הוא snapshotting. לפי פוסט בבלוג Machine Learning של AWS מ-13 בנובמבר, runtime V2 מצלם snapshot של סביבה מאותחלת פעם אחת ומשחזר אותו לכל סשן חדש, כך שזמן ה-cold start כבר לא גדל עם נפח ה-image. כל סשן עדיין רץ ב-Firecracker microVM משלו, הווירטואליזציה הקלה ש-AWS משתמשת בה ב-Lambda, כך ש-agents שמריצים קוד שהמודל כתב מופרדים בגבול חומרה ולא ב-kernel משותף. הפוסט מסביר איך למדוד זמני עלייה ומציע ארבעה דפוסים להוצאת עבודה כבדה מהבקשה הראשונה. החיסכון בזיכרון מגיע מטיפול יעיל יותר בזמן סרק בסשנים ארוכים עם הרבה תורות.
זו התשובה של AWS לבעיה מעשית: agents רצים זמן רב יותר ועושים עבודה כבדה יותר, אבל משתמשים לא יחכו 30 שניות לסשן. זה חלק ממאמץ רחב יותר של AWS השבוע, שכלל את Nitro Sandboxes ל-EKS, ECS ו-EC2, את AWS Emulator לבדיקת agents מקומית, ומדריכים לייחוס עלויות Bedrock לפי משתמש ולניתוב מודלים עם NeMo Switchyard. Google, Microsoft וספקיות sandbox ייעודיות מתחרות כולן על אותם עומסי אירוח של agents.
התגובות היו מאופקות לעומת הסיפורים הגדולים של השבוע, ופוסטי ההשקה של AWS זכו למעורבות צנועה ב-X. המבחן האמיתי הוא אם מספרי ה-P75 יחזיקו אצל לקוחות עם images גדולים ולא שגרתיים. ול-snapshot-restore יש מלכודות משלו סביב state שאסור לשתף בין סשנים, כמו random seeds ו-credentials, וההנחיות הארכיטקטוניות מנסות לטפל בזה.
