NVIDIA מהדקת את האחיזה בשוק ה-inference — למרות התחרות הגוברת

דיווחים מצביעים על כך ש-NVIDIA מרחיבה את השליטה שלה מעבר לאימון מודלים גם לשוק ה-inference — השלב שבו מודלים שכבר עברו deploy רצים בפועל ומייצרים הכנסות, ושם צפוי להתרכז עיקר ההוצאה לטווח הארוך. במשך שנים שלטה התפיסה שה-inference יהיה דווקא הנקודה הרכה של NVIDIA, המקום שבו silicon ייעודי של ה-hyperscalers וסטארטאפים יוכל לשחוק את השוליים שלה. הסימנים האחרונים מצביעים על כך שהשחיקה הזו פשוט לא קרתה בקנה מידה משמעותי.

המנגנון נשען בחלקו על תלות בספק שמובנית באקוסיסטם: CUDA, כלים בשלים, והיתרון של agents-per-megawatt של Blackwell Ultra הופכים את זה לקשה למתחרים להציע total cost of ownership תחרותי — גם כשמחיר השבב הגולמי נראה אטרקטיבי. מנכ"ל NVIDIA, Jensen Huang, חזר וטען שנתח ה-inference 'גדל מהר מאוד מאוד' ושפלטפורמת Vera Rubin תהיה 'מוצלחת יותר' מ-Blackwell.

עם זאת, הזירה התחרותית צפופה: Cerebras יצאה ב-IPO, hyperscalers כולל AWS ו-Google דוחפים שבבי אימון ו-inference משלהם, ו-Nebius רכשה את Eigen AI כדי לחזק את ה-stack של ה-inference שלה. ספקנים מציינים שהשבבים הפנימיים של ספקיות הענן תוכננו בדיוק כדי להקטין את התלות ב-NVIDIA לאורך זמן, כך שהשאלה היא אם היתרון של NVIDIA הוא בר-קיימא או רק מוקדם. המעבר ל-agentic AI — הרבה agents מקבילים שרצים לאורך זמן ולא inference באצוות — עשוי דווקא לשחק לטובת המערכות בעלות רוחב הפס הגבוה של NVIDIA. כדאי לעקוב אחרי דיווחי ה-capex של ה-hyperscalers וכל סימן לכך שה-silicon הייעודי כובש נתח ב-inference.