מחקר של Apple: machine unlearning יכול להיות כמעט חינם דרך נקודות בעלות השפעה נמוכה

צוות מחקר ה-machine learning של Apple פרסם עבודה בשם 'When Unlearning Is Free: Leveraging Low Influence Points to Reduce Costs', שמאתגרת את ההנחה המקובלת שכל data point ב-'forget set' חייב לקבל יחס שווה כשמסירים אותו ממודל מאומן. החוקרים מראים שנקודות בעלות השפעה נמוכה — נתונים שהסרתם בקושי משפיעה על המודל — ניתנות ל-unlearning בעלות חישובית זניחה.

מכונת ה-unlearning חשובה כי רגולציות פרטיות ודרישות 'הזכות להישכח' דורשות יותר ויותר שחברות יסירו נתוני משתמש ספציפיים ממודלים שכבר אומנו עליהם. אימון מחדש מאפס יקר מדי, ולכן unlearning יעיל הוא הכרח מעשי. התובנה של Apple — שאפשר לזהות ולהסיר בזול נקודות בעלות השפעה נמוכה במקום לשלם עלות אחידה על כל ה-forget set — עשויה להוזיל דרמטית את העמידה ברגולציה.

המתודולוגיה משתלבת במיצוב הרחב יותר של Apple סביב AI ששומר על פרטיות ורץ on-device. Apple פרסמה השבוע גם מחקר קשור, כולל VICIS (Visual Concept Inference from Sets), שבודק האם מודלים של vision-language מסוגלים להסיק מושגים משותפים מתמונות דוגמה — וגילה שה-VLMs הנוכחיים מתקשים להסיק מהקשר ויזואלי גרידא. יחד אלה משקפים את העמדה של Apple, מחקרית ומוכוונת-פרטיות, גם כאשר ה-Apple Intelligence הדגלי שלה נשען על שותפים כמו Qwen בסין.

מבחינה תחרותית, unlearning יעיל הוא בידול ש-Apple יכולה לשזור בשיווק הפרטיות שלה, והוא נוגע בפער אמיתי בתעשייה — רוב חברות ה-AI מתייחסות ל-unlearning כמחשבה שנייה. ההסתייגות: תוצאות מחקר לא תמיד מתורגמות ל-production, וזיהוי ה-'low-influence' מוסיף overhead משלו שהמאמר חייב לכמת ביושר. שווה לעקוב האם Apple תשלב זאת בצינור הטיפול בנתונים של Apple Intelligence, מה שייתן לה יתרון פרטיות מוחשי על פני המתחרות.