AWS משחררת כ-open-source את Infinity: runtime לאינספור agents שמחכים שעות

הבלוג של AWS ל-open-source הציג את Infinity, runtime שמטפל בבעיה שרוב ה-frameworks ל-agents מתעלמים ממנה: agents בעיקר מחכים. agent קוד יכול להריץ build של עשרים דקות, למיין pull request או לחכות לילה שלם לאישור של בן אדם. להחזיק תהליך מלא והקשר בזיכרון לאורך ההמתנה הזו זה בזבוז מחשוב, והבזבוז גדל ליניארית עם מספר ה-agents.

ב-Infinity, הלולאה של כל agent לא נשארת טעונה כל הזמן. agent יכול להשהות את עצמו כשהוא חסום על כלי או אישור, ולהתעורר כשמגיע אירוע. כך אפשר להריץ כמויות גדולות מאוד של agents ארוכי טווח במקביל, בלי לשלם על זיכרון ו-CPU שעומדים בטל. המודל מזכיר מנועי durable workflow שהולבשו על לולאות agent מבוססות LLM: המצב נשמר ב-checkpoint, והריצה ממשיכה בתגובה לאות חיצוני.

Infinity מצטרף לשבוע עמוס בתשתיות agents. AWS עדכנה גם את AgentCore Gateway עם ניתוב fallback, Google הציגה את Agent Compute Engine לסשנים מבודדים במקביל, ו-NVIDIA דחפה את OpenShell לציי agents. כל הספקים מהמרים שצוואר הבקבוק עבר מאיכות המודל לצנרת שמריצה אלפי agents באמינות ובזול. השחרור כ-open-source גם ממצב את AWS לאימוץ multi-cloud, ולא רק כמי שכובלת לקוחות ל-AgentCore.

ההסתייגויות מעשיות. runtime של השהיה וחידוש משתלם רק אם אפשר לסרלז את המצב של ה-agent והכלים הם idempotent. מפתחים ירצו לראות איך Infinity מתמודד עם קריאות לכלים שעדיין באוויר ועם שחזור הקשר, והאם שחזור מ-snapshot מאבד הקשר – חשש שכבר עלה סביב גישת ה-microVM של Google. benchmarks ואינטגרציות עם ה-SDKs הפופולריים יכריעו את האימוץ.