NVIDIA השיקה את NIM Agentic Framework וכלי AITune לאופטימיזציה של AI inference

NVIDIA שחררה את NIM Agentic Framework, המספק שיפורי throughput פי 5 ל-AI agents כבדי reasoning דרך speculative decoding שמזווג מודלי draft קטנים עם מודלי verifier גדולים יותר. ה-framework משתלב עם TensorRT, TensorRT-LLM, vLLM ו-SGLang ברחבי deployments של cloud, data center ו-RTX AI PC, עם שותפות LangChain שמסמנת נתיבי אימוץ enterprise. בנפרד, NVIDIA השיקה את AITune, ערכת inference open-source שמזהה אוטומטית את ה-backend המהיר ביותר (TensorRT, Torch-TensorRT, TorchAO) לכל מודל PyTorch תוך אימות נכונות, ומטפלת בפער המתמשך בין מודלי מחקר ל-deployments production. בנוסף, NVIDIA חשפה את פלטפורמת צ'יפ ה-AI שלה 'Rubin' עם GPUs מעודכנים ומעבד מרכזי 'Vera' חדש, תוך שמירה על קצב שחרור שנתי לחיזוק הדומיננטיות בשוק.