שבב Jalapeño של OpenAI מנצח לפי הדיווחים את Blackwell של NVIDIA ביעילות

OpenAI חשפה תוצאות benchmark של Jalapeño, ה-chip הראשון שלה ל-inference שפותח בבית — עוצב מאפס יחד עם Broadcom במיוחד ל-inference של מודלי שפה גדולים. לפי התוצאות, Jalapeño עקף את ה-superchips GB200 ו-GB300 Blackwell של Nvidia ב-benchmark של inference, עם throughput גבוה יותר, latency נמוך יותר ויעילות אנרגטית חזקה. עבודת העיצוב החלה באמצע 2024 והגיעה ל-tape-out תוך כ-16 חודשים, לוח זמנים מהיר בצורה חריגה ל-ASIC מדור ראשון. Sam Altman כינה אותו 'מהיר מאוד' ב-X.

המשמעות האסטרטגית היא ש-OpenAI מקטינה את התלות שלה ב-Nvidia ב-workload הרגיש ביותר לעלות — inference, שגדל עם השימוש. ASIC ל-inference מהימן שפותח בבית ישפר את היחידות הכלכליות של שכבות חינמיות ממומנות פרסום ומוצרים בנפח גבוה, וייתן ל-OpenAI מנוף במשא ומתן על כוח מחשוב.

מבחינה תחרותית, זה מעצים את התמה שבה החפיר של Nvidia עובר מה-chips אל ההון והאקוסיסטם: גם כש-Nvidia מגבה עשרות מיליארדים במימון תשתיות ולפי הדיווחים נעה לרכוש את Hugging Face, יתרון הסיליקון שלה ב-inference מאותגר. Google (TPUs), Amazon (Trainium/Inferentia) ו-Meta כבר בונות accelerators ייעודיים.

ספקנים קוראים לזהירות. SemiAnalysis ציינה ש-ASICs מדור ראשון לעתים נדירות תחרותיים מיד עם היציאה, מה שהופך תוצאה שכביכול מנצחת את Blackwell תוך כ-16 חודשים למרשימה ושווה בחינה עצמאית. Benchmarks גם תלויים ב-workload — לנצח את Blackwell במבחן inference אחד לא שווה לעליונות רחבה, ובגרות התוכנה והאקוסיסטם עדיין מטה את הכף לטובת Nvidia. שווה לעקוב אחר benchmarks של צד שלישי, פרטי נפח/yield, והאם Jalapeño באמת יעלה לאוויר על פני כל הצי של OpenAI.