Genie 4 של Google DeepMind מדבר: מודל העולם מקבל אודיו, דיאלוג ו-Gemini כבמאי

Genie 4 הוא הקפיצה הגדולה ביותר של DeepMind עד היום במודלי עולם. הוא מרנדר סביבות שאפשר לחקור, פריים אחרי פריים, בזמן אמת ובשליטת המשתמש, ולראשונה מוסיף אודיו מובנה: צלילי רקע, אפקטים, דיבור ודיאלוג של דמויות שנוצרים בסנכרון עם התמונה. Google טוענת שהסביבות נשארות קוהרנטיות עד שתי דקות, בשילוב Gemini Omni לעקביות ויזואלית ומודלי ההסקה של Gemini שמתכננים אירועים רב-שלביים ומתאימים את העולם למשתמש.

The Decoder תיאר את הארכיטקטורה כ'גרסה מודרנית לתכנוני agents שקדמו ל-LLM': סימולטור נלמד עם מתכנן מעליו, קרוב ל-model-based RL הקלאסי. זו הסיבה ש-DeepMind מציגה את Genie כסביבת אימון ל-agents לא פחות מאשר כבידור. Bloomberg ציינה שגרסאות קודמות טלטלו את מניות משחקי הווידאו, והשדרוג הזה מחזיר את השאלה לשולחן.

הזמינות מדורגת. בודקים מורשים ומשתמשי Project Genie מקבלים גישה כבר עכשיו. מנויי Google AI Ultra יקבלו אותה בשבועות הקרובים, יחד עם שותפי גישה מוקדמת דרך Gemini API ו-AI Studio.

הספקנים מדברים לעניין. ב-Hacker News מפתחים כתבו שאלמנטים בסצנה משתנים או 'מוזים' ברגע שהם יוצאים משדה הראייה, כלומר אין object permanence אמיתי. מהנדסי רובוטיקה וגרפיקה טענו שיצירת פריימים autoregressive טהורה לא יכולה להחליף ייצוג תלת-ממדי מפורש, ושהיא נסחפת בסשנים של כמה דקות. שתי דקות של קוהרנטיות זה מרשים לדמו, אבל קצר מדי לאימון agents לטווח ארוך. כדאי לעקוב אחרי תמחור ה-API והאם מפתחים יוכלו לייצא state לסימולציה שניתן לשחזר.