Meta מכפילה את יעילות אימון מודל ה-GEM לפרסום ב-scale של LLM

Meta פירטה את ההתקדמות ההנדסית מאחורי GEM, מודל ה-Generative Ads Recommendation שלה שמניע את דירוג המודעות וההמלצות ברוחב Instagram ו-Facebook. התוצאה המרכזית: Meta הכפילה את יעילות האימון מקצה לקצה ל-20–25% של Model FLOPs Utilization (MFU) ובמקביל הגדילה את ה-FLOPs באימון פי 4 על אלפי GPU מהדור האחרון. להשיג MFU גבוה בקנה מידה כזה הוא בעיית systems קשה, והעבודה מראה את Meta מיישמת מתודולוגיית אימון בסקאלה של LLM על תחום ההמלצות — תחום שנשלט היסטורית על ידי ארכיטקטורות אחרות.

המשמעות העסקית עצומה: המודעות הן מנוע ההכנסות של Meta, ואפילו שיפורים קטנים באיכות ההמלצות מצטברים על פני מיליארדי חשיפות יומיות. הבאת המשמעת של אימון בסקאלת LLM (מודלים גדולים יותר, ניצול FLOPs טוב יותר, גישות generative) לתחום המודעות היא מנוף ישיר על המונטיזציה, לא סקרנות מחקרית.

ההקשר התחרותי: החשיפה מסמנת שמערכות ההמלצות מתכנסות עם טכניקות מודלי היסוד, תחום שבו העומק התשתיתי של Meta והתחייבויות ה-GPU של NVIDIA בהיקף מולטי-ג'יגה-וואט מעניקים לה יתרון. זה גם עומד בניגוד לשבוע הרועש יותר של Meta — תביעות מוציאים לאור על נתוני האימון של Llama וויכוחים על הדרתה ממסגרת הבטיחות הוולונטרית — בכך שהיא מציגה את עבודת ה-AI המרכזית ומייצרת המזומן שלה.

הסתייגויות: 20–25% MFU הוא נתון מכובד אך לא יוצא דופן עבור אימון בקנה מידה גדול, ו-Meta לא פרסמה מספרי ביצועי מודעות או עליית הכנסות במורד הזרם, כך שהתשואה המעשית נטענת ולא כומתה חיצונית. מה כדאי לעקוב אחריו: האם שיפורי היעילות של GEM יתורגמו לשיפור מדיד בהכנסות מפרסום בדוחות הקרובים, והאם גישת ההמלצות בסקאלת LLM תתפשט למתחרים.