TensorRT 11.1 מוסיפה Global Performance Tuner שסורק מסלולי build אוטומטית

NVIDIA פרסמה סדרה טכנית בשני חלקים על Global Performance Tuner (GPT) ב-TensorRT 11.1. עד היום מהנדסים בחרו מסלול build אחד — מצב precision, סט של layer fusions, מתכון quantization — ו-TensorRT ביצע אופטימיזציה רק בתוכו. ה-tuner החדש מתייחס ל-deploy כבעיית קומפילציה שיש לה הרבה פתרונות תקפים, ומחפש על פני כמה מסלולים במקביל.

המילה החשובה כאן היא accuracy-aware. דיוקים נמוכים כמו FP8 או FP4 ו-fusions אגרסיביים מאיצים את ה-inference, אבל עלולים לפגוע באיכות הפלט. ה-tuner בודק engines מועמדים מול אילוצי דיוק ובוחר את המהיר ביותר שעדיין עומד בסף. זה מחליף ניסוי וטעייה ידני, שלעיתים קרובות גזל ממהנדסי inference ימים שלמים על כל מודל.

מבחינה תחרותית, זו התשובה של NVIDIA לעלייה של קומפיילרים ו-serving stacks פתוחים — vLLM, SGLang, ועכשיו גם DeepInfer, שאותו DeepSeek שחררה כ-open-source ושתומך גם בחומרה של NVIDIA וגם ב-Huawei Ascend. היתרון של NVIDIA תמיד היה חפיר התוכנה, ואוטומציה של החלקים הקשים ב-TensorRT פותחת אותו גם לצוותים בלי מומחיות עמוקה ב-CUDA.

כמה הסתייגויות: tuning מבוסס חיפוש עולה בכוח מחשוב ובזמן מראש, ומדדי הדיוק שהצוות בוחר הם שיקבעו אם ה-engine "המהיר והתקף" באמת מתאים לפרודקשן. מדובר בפוסטים בבלוג המפתחים של NVIDIA, לא ב-benchmark עצמאי. כדאי לחכות להשוואות של צד שלישי מול ה-throughput של vLLM ו-SGLang על מודלים פתוחים פופולריים.