מחקר של Apple ממפה את ההבדל בין מודלי diffusion למודלים אוטו-רגרסיביים

צוות מחקר ה-machine-learning של Apple פרסם מחקר שמשווה בין מודלי שפה מבוססי diffusion לבין autoregressive, ומאפיין באופן שיטתי את trade-offs הביצועים והעלות בין שתי הפרדיגמות. מודלים autoregressive — שמייצרים טקסט token אחד בכל פעם — שלטו באופן מוחלט בעידן ה-LLM, אבל גישות diffusion, שמזקקות פלטים באופן איטרטיבי, עשויות לפתוח יתרונות כמו parallel sampling מואץ ועקומות איכות-עלות שונות עבור משימות מסוימות. המחקר בוחן איפה כל פרדיגמה מנצחת ואיפה היא מתקשה.

בשחרור נלווה, Apple הציגה את 'Arbitrage', טכניקה לשיפור יחס הביצועים-עלות של reasoning ב-LLM, שמבוססת על speculative decoding עם ספקולציה מודעת-יתרון, שמכוונת להאיץ inference של chain-of-thought ארוך תוך שליטה על כוח המחשוב. עבודה קשורה על scaling של categorical flow maps טוענת ש-diffusion רציף ו-flow matching יכולים להיות חלופה עוצמתית ל-modeling autoregressive עבור נתונים בדידים, ולפתוח sampling מהיר יותר.

המחקר מאותת על ההשקעה המתמשכת של Apple בארכיטקטורות מודל שמכוונות ליעילות — בהתאם לאסטרטגיה שלה, שמעמידה במרכז on-device ופרטיות, ומעריכה מודלים שזולים מספיק כדי לרוץ מקומית. במקום לרדוף אחר המודלים המובילים הגדולים ביותר, Apple בוחנת גישות ארכיטקטוניות שיכולות לספק איכות חזקה בעלות inference נמוכה יותר, מה שחשוב עבור יעדי ה-deploy המוגבלים-מכשיר שלה.

העבודה היא אקדמית ולא מוצר, ו-LLMs מבוססי diffusion עדיין לא הוכחו בקנה מידה מוביל, כך שההשפעה בטווח הקרוב היא על שיח המחקר ולא על תכונות שנשלחות. זה נוחת באותו שבוע שבו Apple פירטה את הדור הבא של Siri ו-Apple Intelligence, את תאימות המכשירים ותכונות ה-Messages שיגיעו בהמשך השנה. שווה לעקוב האם Apple תהפוך גישה כלשהי מבוססת diffusion למוצר ב-stack ה-on-device שלה, וכיצד טכניקות היעילות האלה ישפיעו על מודלי Apple Intelligence הבאים.