NVIDIA משבחת את ה-'אינטליגנציה לכל דולר' של Vera Rubin ל-post-training

חברת NVIDIA פרסמה נימוק טכני לפלטפורמת Vera Rubin שלה, בטענה שהיא מספקת את העלות הנמוכה ביותר per token באמצעות 'codesign קיצוני' של חומרה ותוכנה, ומקדמת את 'intelligence per dollar' כמדד שחשוב לעומסי post-training בעידן ה-AI האגֶנטי. המסר מכוון לשינוי בביקוש ל-compute של AI: ככל ש-inference ו-post-training (fine-tuning, RLHF, הרצות agent) גדלים ביחס ל-pretraining, קונים בוחנים יעילות עלות יותר מאשר peak FLOPS.

נימוק ה-codesign הוא ה-moat המרכזי של NVIDIA — שילוב הדוק של CPUs (Vera), GPUs (Rubin), interconnects, וה-stack התוכנתי של CUDA כדי לסחוט עלות per token שרכיבים נפרדים לא יכולים להשיג. NVIDIA חיזקה את התמה עם Nemotron 3 Embed שתפס את שני המקומות הראשונים ב-leaderboard של LMEB ו-NeMo Automodel שמגדיל fine-tuning של diffusion עם ספריית ה-Diffusers של Hugging Face.

התזמון הגנתי. Cerebras משווקת מהירות inference בקנה מידה wafer-scale (Andrew Ng השיק קורס עליה השבוע), DeepSeek בונה שבב inference משלה כדי להשתחרר מהתלות ב-NVIDIA, ו-General Compute כביכול גייסה הלוואה של 400 מיליון דולר בבטוחה של שבבים ייעודיים ל-inference — כל הסימנים לכך ששוק חומרת ה-inference מתפצל וקונים מחפשים חלופות ל-premium של NVIDIA.

מבחינה תחרותית, 'intelligence per dollar' הוא מסגור מחוכם: הוא מעביר את השיחה ממחיר גולמי (שם מתחרים יכולים לחתוך) ליעילות כוללת (שם האינטגרציה של NVIDIA מנצחת). הקריאה הספקנית היא שזו הגנה על מרווחים מחופשת לתובנה הנדסית — NVIDIA צריכה לשכנע קונים שחלופות זולות-יותר-per-chip עולות יותר per token שימושי. שווה לעקוב האם benchmarks עצמאיים יאמתו את הטענות של cost-per-token ובאיזו אגרסיביות מאמצי ה-custom-silicon ישחקו את נתח ה-inference של NVIDIA.