מחקר: מחיקה של פחות מ-0.05% מהפרמטרים ב-Llama 3 8B משתווה ל-fine-tuning מלא

המחקר הזה משנה את ההבנה של מה reinforcement learning באמת משנה בתוך מודל. הצוות אימן את Llama 3 8B Instruct עם RL על ה-benchmark המתמטי GSM8K, ובמקום לעדכן את כל הפרמטרים גילה שהסרה של תת-קבוצה זעירה של פרמטרים, פחות מ-0.05%, משיגה תוצאה זהה ואפילו קצת טובה יותר מ-fine-tune מלא: 83.55% מול 83.24%. השינויים נכנסים ב-adapter של 8.4MB, לעומת checkpoint מלא של 30.6GB, כלומר בערך פי 3,600 קטן יותר.

השיטה היא התערבות דלילה. במקום ללמוד עדכונים מצטברים בדרגה נמוכה כמו ב-LoRA, היא מזהה אילו פרמטרים, כשמוחקים אותם, משחררים את ההתנהגות הרצויה. זה מצטרף לגוף ראיות הולך וגדל שלפיו RL בעיקר מעצב ומוציא החוצה יכולות שכבר קיימות מה-pretraining, ולא מלמד יכולות חדשות. זה גם רומז שהתאמות אישיות אפשר יהיה לאחסן, להפיץ ולהחליף בעלות זניחה.

fine-tune דליל מתחרה ב-LoRA, QLoRA ובטכניקות חדשות לדחיסת הפרשים. אם התוצאה תחזיק מעבר ל-GSM8K, היא יכולה להוזיל את התאמת ה-RL לארגונים ולפלטפורמות שמגישות הרבה גרסאות ייעודיות ללקוחות, ולפי הדיון בקהילה זה בדיוק מה שמלהיב חוקרים. ההקשר של Llama קצת אירוני: Meta עצמה העבירה את הפוקוס למשפחת Muse הקניינית, ו-DigitalOcean מורידה את Llama 4 Maverick מה-inference ה-serverless שלה. ההסתייגויות משמעותיות: GSM8K הוא benchmark צר ורווי, ומודל 8B הוא קטן. עוד לא נבדק אם עדכונים מבוססי מחיקה עובדים במודלים גדולים יותר, במשימות רחבות יותר או בהוספת יכולות ולא רק בשליפתן. כדאי לעקוב אחרי שחזור על חבילות הסקה קשות יותר ואימוץ בספריות fine-tune פתוחות.