GPT-6.1 Sol מקבל מצב Ultrafast ב-Amazon Bedrock

Amazon Bedrock מציעה עכשיו מצב Ultrafast ל-GPT-6.1 Sol של OpenAI. המצב מספק inference מהיר יותר לאפליקציות רגישות ל-latency, ו-AWS מציבה עזרה בקוד בזמן אמת כ-use case מרכזי. הוא רץ על מנוע ה-inference של Bedrock עצמה, כלומר AWS ולא OpenAI היא זו שמגישה את ה-tokens.

Sol נמצא באמצע הליין-אפ הנוכחי של OpenAI, שכולל שלוש דרגות: Astra, Sol ו-Luna. מקרה בוחן ש-OpenAI פרסמה באותו יום ממחיש למה החלוקה הזו חשובה: LegalOn הורידה ב-65% את עלות ה-Codex היומית המשוערת שלה, בלי להאט את הפיתוח, כשניתבה משימות קשות ל-Astra וקלות יותר ל-Sol ול-Luna. Sol במצב Ultrafast משתלב בדיוק בדפוס הזה: מודל ביניים שעונה באופן אינטראקטיבי בתוך עורכי קוד וב-agents, איפה שכל שנייה של latency מצטברת לאורך עשרות קריאות לכלים.

הסיפור הרחב הוא עד כמה המודלים של OpenAI התפשטו מעבר ל-Azure. לפני שנה Microsoft הייתה בפועל הענן היחיד למודלים המובילים של OpenAI. היום GPT-6.1 Sol רץ על Bedrock עם מצבי ביצועים ייעודיים ל-AWS, ‏AWS בונה עם OpenAI agents מנוהלים, ו-Foundry של Microsoft מארחת את משפחת GPT-6 ב-28 אזורים לצד Claude Opus 5.5. לארגונים שסטנדרטיים על AWS, המחסום לשימוש במודלים של OpenAI כמעט נעלם. ל-Anthropic, שהמודלים שלה היו ההצעה הבולטת של Bedrock, זה אומר תחרות ישירה בערוץ ההפצה החזק ביותר שלה.

הסתייגויות: ההכרזה לא מפרטת נתוני throughput, תוספת מחיר ל-Ultrafast, או האם יש פשרה באיכות, למשל מאמץ reasoning מופחת. מצבי inference מהירים עולים בדרך כלל יותר לכל token, וזה יכול לאכול את החיסכון שבשימוש במודל ביניים. כדאי לחכות ל-benchmarks עצמאיים של latency, לבדוק זמינות לפי אזור, ולראות אם גם Astra יקבל מצב דומה. עוד שאלה פתוחה: האם ה-API של OpenAI עצמה תציע אותו דבר, או שמצבים ייעודיים ל-AWS יהפכו לגורם בידול במלחמת העננים.