Bedrock AgentCore Gateway מוסיף InvokeModel ו-fallback אוטומטי בין מודלים

AgentCore Gateway התחיל את דרכו כשכבת governance לקריאות כלים של agents. בעדכון הנוכחי הוא נכנס גם לנתיב ה-inference של המודלים: הלקוחות ממשיכים לקרוא ל-InvokeModel הרגיל של Bedrock או ל-API של ה-streaming, וה-gateway מחיל באופן מרכזי מדיניות, לוגים וניתוב. אין צורך לשכתב את הקוד מול ה-SDK.

הפיצ'ר המרכזי הוא fallback. הצוות מגדיר שרשרת מסודרת של ספקים או מודלים, וכשהמודל הראשי מחזיר שגיאות throttling או חוסר קיבולת, ה-gateway עובר לבא בתור. מנגנוני circuit breaker מובנים מפסיקים לשלוח תעבורה ל-endpoint שממשיך ליפול. כך נמנעים קפיצות latency וסערות retry בזמן תקלות.

בפועל AWS מאמצת דפוס שעד עכשיו היה המגרש של gateways צד שלישי כמו LiteLLM, Portkey ו-OpenRouter, והתזמון לא מקרי. השבוע עלתה ל-PyPI גרסה פרוצה של LiteLLM 1.107.0 שהכילה גונב credentials ו-backdoor, והסיפור צבר 588 נקודות ב-HN. לצוותים שחושבים על אבטחה יש עכשיו סיבה טובה יותר להעדיף gateway מנוהל על פני proxy שהם מריצים בעצמם בנתיב הבקשות.

כמה הסתייגויות: fallback בין ספקים יכול לשנות את התנהגות המודל באמצע session, כך שהפלט עלול להשתנות בפורמט או באיכות כשהתעבורה עוברת למודל אחר. לכן צריך כיסוי evaluation לכל מודל בשרשרת. כדאי גם לעקוב אחרי האופן שבו ייחוס העלויות וה-guardrails נשמרים באופן עקבי כשבקשה נוחתת אצל ספק משני.