NVIDIA משחררת את Nemotron 3.5 Lightning בגודל 30B בחינם; NIM 2.0.12 מזניק throughput פי 2.5

Nemotron 3.5 Lightning מכוון ישירות לקהילת ה-local-inference: מודל 30B חינמי שרץ פי 4 מהר יותר מקודמיו ונכנס ל-RTX GPU יחיד, ניתן ל-deploy דרך ה-stacks הפופולריים Ollama, LM Studio ו-llama.cpp, או על shapes של data-center בענן. השילוב הזה — מודל פתוח, נפח של GPU יחיד וכלים מיינסטרים — מכוון למפתחים שמתחמקים מחשבונות הענן, פלח שהתגבש סביבו ב-r/LocalLLaMA.

בצד ה-enterprise, NIM 2.0.12 מספק throughput גבוה פי 2.5 על Nemotron 3 Ultra, כלומר אותו צי GPU יכול לשרת יותר משתמשים במקביל — שיפור יעילות שהוא תוכנה בלבד, שמותח חומרה נדירה רחוק יותר, והדים לתמת הקיבולת של השבוע מזווית אחרת.

מבחינה אסטרטגית, מתן מודלים פתוחים ויכולתיים בחינם מצד NVIDIA משרת את עסקי החומרה שלה: כל מפתח שמריץ Nemotron מקומית הוא סיבה לקנות GPUs של NVIDIA, וכל ארגון שסוחט יותר משתמשים לכל GPU דרך NIM שקוע עמוק יותר ב-ecosystem של CUDA. זה גם ממצב את NVIDIA מול המעבר של Meta עם Muse Spark הרחק ממודלים פתוחים, ומול שחרורי Qwen של Alibaba — וממלא את הפער במודלים הפתוחים שהותירה נסיגת Llama של Meta, תוך הבטחה שהמודלים ירוצו הכי טוב על סיליקון של NVIDIA.