NVIDIA חושפת את Cosmos Framework ו-Cosmos NIM: inference מהיר פי 2-3 למודלי עולם

NVIDIA פרסמה מדריכי הטמעה ל-Cosmos Framework, סט כלים פתוח ומודולרי שמכסה את כל מחזור החיים של world models ל-physical AI: אימון, reinforcement learning, אופטימיזציה ו-inference. המדריכים עוסקים במגוון מודלים, בהם Cosmos 3, Alpamayo לנהיגה אוטונומית, GR00T לרובוטים דמויי אדם, וגם Qwen ו-pi0.5.

המדריכים מתמקדים בשתי בעיות מעשיות. הראשונה היא התאמה של מודלי Cosmos לחיישנים, למשימות ולדאטה של הצוות שלכם. השנייה היא deploy של המודלים לתוך סימולטורים אינטראקטיביים. בשלב ה-post-training מבוסס RL יש תמיכה ב-DPO, GRPO ו-PPO. בצד ההרצה, Cosmos NIM אורז את המודלים בקונטיינרים מותאמים שנעזרים ב-quantization, ב-caching ובניתוב שמודע ל-KV-cache. לפי NVIDIA, speculative decoding מביא האצה ממוצעת של פי 2 עד 3, בקונפיגורציות שדורשות בין 31GiB ל-150GiB של VRAM.

בתמונה הרחבה, world models הם ההימור של NVIDIA על מה שבא אחרי מודלי השפה. כאן היא מתחרה בסדרת Genie של Google DeepMind ובחברות ה-AI שמתמקדות ברובוטיקה. החבילה המלאה של מודלים, מתכוני אימון וקונטיינרים ל-inference נועדה להשאיר את המפתחים בתחום ה-physical AI על החומרה של NVIDIA. ההסתייגות: את נתוני ההאצה מדדה NVIDIA בעצמה. בנוסף, דרישות ה-VRAM אומרות שהקונפיגורציות הגדולות ירוצו רק על GPU ברמת דאטה סנטר.