NVIDIA משיקה את Cosmos 3 — ה-omni-model הראשון שהוא open לחלוטין ל-physical AI

ב-GTC Taipei, NVIDIA חשפה את Cosmos 3, world foundation model מסוג open שמוביל את ה-leaderboard עבור physical AI, הבנוי על ארכיטקטורת mixture-of-transformers שמאחדת vision reasoning, יצירת עולם וחיזוי פעולה במערכת אחת. NVIDIA מכנה אותו ה-omni-model הראשון בעולם שהוא open לחלוטין, מסוגל להבין וליצור באופן native טקסט, תמונות, video, צליל סביבתי ופעולות עם דיוק פיזיקלי מוביל — תוך כיווץ מחזורי האימון וההערכה של physical AI 'מחודשים לימים'. הוא נשלח בגדלים Nano (16B) ו-Super (64B פרמטרים) ב-Hugging Face.

'המפץ הגדול של physical AI ממש מעבר לפינה, הודות לפריצות דרך ב-multimodal reasoning, שפה, vision ומודלי עולם', אמר Jensen Huang. NVIDIA גם השיקה את Cosmos Coalition, שיתוף פעולה של בוני מודלי עולם ומובילי רובוטיקה — Agile Robots, Black Forest Labs, Generalist, LTX, Runway ו-Skild AI — לקידום מודלי עולם open. ההשקה משולבת עם שבב AI חדש ל-PC צרכני ועם DLSS 4.5 Ray Reconstruction.

הארכיטקטורה המאוחדת היא ההימור הטכני המרכזי: במקום לתפור יחד vision encoders נפרדים, סימולטורים של עולם ומודלי policy עבור רובוטיקה, רכבים אוטונומיים וחללים חכמים, Cosmos 3 מטפל בכל זה במערכת אחת לצורך יצירת synthetic data ופיתוח policy.

ההשקה נוחתת בדיוק על נושא ה-'let's get physical' של השבוע, כש-Sam Altman מכריז שרובוטיקה היא ה-frontier הבא של OpenAI ו-Meta בונה לפי הדיווחים pendant wearable. ב-r/StableDiffusion, מודל ה-image-to-video של Cosmos3-Super עורר עניין חזק, כשמשתמש אחד הריץ את מודל ה-64B מקומית על RTX PRO 6000 96GB יחיד (98 upvotes, 99 תגובות). שחרור ה-open-weights באמת ראוי לציון, אבל שווה לעקוב אם שותפי ה-Coalition ישלחו רובוטים פרוסים אמיתיים או ש-'physical AI' יישאר בשלב הדמו. benchmarks עצמאיים מול מודלי עולם closed יספרו את הסיפור האמיתי.