מחקר של Apple משווה בין מודלי diffusion למודלים autoregressive

המאמר המחקרי של Apple נכנס לאחת השאלות הפתוחות המשמעותיות יותר בארכיטקטורת LLM: האם גישות מבוססות diffusion יכולות להתחרות ב-next-token prediction האוטו-רגרסיבי שהגדיר כל מודל מרכזי עד היום. העבודה מאפיינת את tradeoffs הביצועים של כל אחד, וממפה היכן הייצור המקבילי והאיטרטיבי של diffusion עשוי לנצח את ה-decoding הסדרתי-לחלוטין של autoregression — והיכן הוא נופל.

המנגנון שעל הכף: מודלים אוטו-רגרסיביים מייצרים token אחד בכל פעם, מה שחוסם את מהירותם וכופה reasoning משמאל-לימין בלבד. שיטות diffusion ו-flow-matching, שדומיננטיות מזמן בייצור תמונות, מייצרות באמצעות זיקוק איטרטיבי של רצף שלם, ופוטנציאלית פותחות sampling מהיר יותר ותכנון לא-סדרתי. קו עבודה נלווה (המיוחס ב-Source C למחקר flow-map קשור) מראה scaling של continuous diffusion ו-flow matching מעל נתונים דיסקרטיים כחלופת language-modeling, ומצטט sampling מואץ וטכניקות 'tilting' שהיו שמורות בעבר למודליות רציפה.

העניין של Apple אסטרטגי לא פחות מאשר אקדמי. כחברה שמהמרת על inference יעיל on-device עבור Apple Intelligence, ארכיטקטורות שעושות decode מהר יותר או רצות זול יותר רלוונטיות ישירות — אותה מוטיבציה שמאחורי עבודת ה-speculative-decoding שלה בשם 'Arbitrage' ששוחררה באותו שבוע כדי לחתוך את עלות ה-inference של chain-of-thought ארוך.

האזהרה הריאלית היא שמודלים אוטו-רגרסיביים עדיין דומיננטיים בכל מערכת production מסיבה טובה: הם מובנים טוב יותר, קלים יותר לאמן ביציבות, ומגבים את התוצאות המובילות של היום. diffusion LLMs נשארים במידה רבה בשלב מחקר, והמאמר של Apple נקרא כאפיון ולא כטענת עליונות. שווה לעקוב אם Apple תשלח רכיב מבוסס diffusion כלשהו במודל on-device עתידי, מה שיהיה האות החזק ביותר שהגישה חצתה מהמאמר למוצר.