Jetson Orin Nano 2 של NVIDIA מכפיל את ביצועי ה-inference בקצה לרובוטיקה

NVIDIA הציגה את ה-Jetson Orin Nano 2, בטענה שהוא מכפיל את ביצועי ה-inference לרובוטיקת edge ומאפשר למודלי LLM מובילים ולמודלי vision-language לרוץ ישירות על המכשיר, מעל autonomy stacks קיימים. המנהל Deepu Talla מסגר זאת כהגשמת חלום בן עשור ל-edge AI — הוצאת יכולת המודלים הגדולים ממרכז הנתונים אל תוך רובוטים ומערכות משובצות.

ההצעה הטכנית מתמקדת בהרצת perception, reasoning, תכנון ופעולה באופן מקומי, תוך צמצום התלות בסבבי ענן עבור רובוטיקה רגישה ל-latency. זה חשוב למכונות אוטונומיות שחייבות להגיב בזמן אמת ולפעול עם קישוריות לסירוגין, וזה משתלב ב-stack ה-physical-AI הרחב יותר של NVIDIA — מודלי העולם Cosmos, רובוטיקת Isaac וסימולציית Omniverse — ש-Amazon בדיוק התחייבה לאמץ לצי הרובוטים שלה.

ה-Orin Nano 2 מגיע גם בגרסה נגישה יותר המכוונת למפתחי רובוטיקה ולחובבים, ומרחיבה את האחיזה של NVIDIA באקוסיסטם המפתחים של edge-AI באותה דרך שבה CUDA כבל אליו את מפתחי מרכזי הנתונים. הוא מגיע באותו שבוע שבו הדומיננטיות של NVIDIA בענן מאותגרת על ידי שבב ה-inference Jalapeño של OpenAI, מה שמדגיש ש-NVIDIA נלחמת בשתי חזיתות — מרכז נתונים ו-edge. השאלות המעשיות הן מעטפת הצריכה, מחיר, אילוצים תרמיים, ואילו גדלי מודל באמת רצים על המכשיר לעומת אלה שעדיין דורשים ענן. כדאי לעקוב אחר benchmarks של מפתחים על עומסי רובוטיקה אמיתיים, ואם 'מודלי LLM מובילים על ה-edge' יחזיק מעמד מעבר לשיווק, עבור משהו גדול יותר ממודלי VLM קומפקטיים.