יותר מ-29,000 מודלים בלי צנזורה ב-Hugging Face — ו-3 מכל 5 מודלים נכשלים במבחני בטיחות טרור

לפי AP, עד סוף ספטמבר יותר מ-29 אלף repositories ב-Hugging Face שיווקו בגלוי מודלים כ-uncensored או כאלה שהוסרו מהם מנגנוני הבטיחות. מחקר נפרד שסיקרה סוכנות Anadolu, ושקשור למחקר של Tech Against Terrorism, מצא ששלושה מכל חמישה מודלים שנבדקו נכשלו במבחני בטיחות בנושא טרור, ובין המודלים שנבדקו היה גם Llama 3.1 של Meta.

המנגנון שמאחורי האקוסיסטם הזה פשוט: ברגע שמודל פתוח משתחרר, אפשר להסיר ממנו בזול את התנהגות הסירוב באמצעות fine-tune או טכניקות abliteration, ואז להעלות מחדש את ה-checkpoint המתקבל. Hugging Face, כפלטפורמת ההפצה המרכזית, יורשת את בעיית המודרציה.

ב-Hugging Face אומרים שהם פועלים נגד הפרות מדיניות, אבל מזהירים שחלק מהפתרונות המוצעים עלולים לפגוע במחקר פתוח לגיטימי, המתח הקלאסי בין פתיחות לשימוש לרעה. Meta הפנתה למבחני הבטיחות האדברסריאליים שלה ולמדיניות השימוש בתגובה לממצאים על Llama. הממצאים מגיעים בדיוק כשהמומנטום של המודלים הפתוחים מאיץ: Mistral אמורה לשחרר את Large 4 ב-27 באוקטובר, NVIDIA מחזרת אחרי Reflection AI, והפריצה ל-Hugging Face נשארת במרכז שיחת הבטיחות העונה. צפו שרגולטורים יצטטו את המספרים בדיונים על אחריות משפטית למודלים פתוחים. הטיעון הנגדי: תווית על repo היא לא הוכחה לנזק בעולם האמיתי.