Jalapeño: OpenAI חושפת את שבב ה-inference הראשון שלה — בשיתוף Broadcom, היישר מול NVIDIA

OpenAI הציגה את Jalapeño, מאיץ ה-inference הראשון מבית היוצר שלה ל-AI, שתוכנן יחד עם Broadcom ומיועד לפריסה עד סוף 2026. Greg Brockman תיאר אותו כ'מתוכנן מאפס ל-LLM inference במשך תשעה חודשים, מואץ על ידי המודלים שלנו', והוסיף שהביצועים-לוואט 'נראים מדהימים' — טענה שאם תחזיק, תכוון ישירות לכלכלת הרצת המודלים בקנה המידה של OpenAI.

מאיצי inference נבנים ייעודית לשירות (ולא לאימון) של מודלים, ומבצעים אופטימיזציה ל-throughput, latency ויעילות אנרגטית עבור עבודת המטריצות החוזרת של יצירת tokens. בבעלות על השכבה הזו, OpenAI מצטרפת ל-Google (TPUs), Amazon (Trainium/Inferentia) ו-Meta בבניית סיליקון פנימי כדי לחמוק מכוח התמחור של NVIDIA ולהתאים את החומרה ל-kernels, לזיכרון, ל-networking ול-scheduling משלה.

הקריאה התחרותית הייתה קולנית בקהילת המפתחים: עמדה אחת ששותפה בהרחבה שיבחה את OpenAI על 'כניסה עמוקה יותר ל-chips, kernels, זיכרון, networking, racks, scheduling, deployment' כמהלך חומרה רציני בכל ה-stack. NVIDIA, מצדה, ניצבת מול אותו לחץ של chips מותאמים אצל לקוחות גדולים, גם כאשר Jensen Huang מסגר את ה-AI כ'עוגה' בת חמש שכבות שמשמרת ביקוש מאמיר לכוח מחשוב כולל.

ההסתייגויות: Jalapeño הוא הכרזה, לא מוצר שנשלח, ולוח זמנים של תשעה חודשים לתכנון הוא אגרסיבי עבור סיליקון ראשון — yield, בשלות תוכנה וביצועים-לוואט בעולם האמיתי עדיין צריכים להוכיח את עצמם. שווה לעקוב אחרי חשיפות benchmark, פרטי הייצור של Broadcom, ואם OpenAI תתחייב לנפח שבאמת יפגע בהוצאות ה-NVIDIA שלה במקום רק לגוון אותן.