מחקר: Hugging Face מארח מודלים שמייצרים deepfakes מיניים מפורשים

הארגון האירופי ללא מטרות רווח AI Forensics פרסם מחקר שמצא כי Hugging Face, מאגר הקוד הפתוח לכלי ומודלי AI, מארחת כלים המסוגלים לייצר deepfakes מיניים עם מעט מאוד guardrails. הנתון המרשיע ביותר: שבעה מתשעת המודלים המובילים בקטגוריית עריכת התמונות נענו לבקשות להפשיט נבדקים. המחקר עוד דיווח כי 73% מההגשות של משתמשים למודל Spaces אחד שהוצב — כזה שאפילו לא תויג כתוכן NSFW — היו בעלות אופי מיני, ו-6.7% כוונו לקטינים.

הממצאים חותכים היישר לתוך נרטיב המודלים הפתוחים ש-Hugging Face קידמה באותו שבוע ממש. בדיוק כשה-CEO קלמאן דלאנג מיצב את המודלים הפתוחים כגיבורי אירוע ה-hack האוטונומי והחברה הצטרפה ל-Open Secure AI Alliance, המחקר הזה מאיר את המחיר האפל ביותר של אירוח מודלים פתוח ובלתי-מפוקח: יכולות מזיקות מתפשטות מהר יותר מהמנגנונים שאמורים לרסן אותן.

אתגר ה-content-moderation לפלטפורמה כמו Hugging Face קשה מבנית. בשונה מ-API סגור שבו הספק שולט בכל בקשה, Hugging Face מארחת מודלים ו-Spaces שכל אחד יכול להריץ ולעשות בהם deploy, מה שהופך הסרות בדיעבד למשחק של הכה-את-החפרפרת. הנתון של 6.7% שכוונו לקטינים מעביר את הסוגיה מוויכוח על מדיניות פלטפורמה לסכנה משפטית ורגולטורית פוטנציאלית בשיפוטים עם חוקי CSAM מחמירים.

הקשר תחרותי ורגולטורי: הדוח מגיע כש-NVIDIA מנופפת בזיהוי deepfake בזמן אמת וכשממשלות שוקלות כללי תוכן ל-AI, ומחדד את הטענה שהפצת מודלים פתוחה זקוקה למנגנוני בסיס חזקים יותר. מה לעקוב אחריו: האם Hugging Face תכריז על שינויי moderation מוחשיים, האם רגולטורים יפתחו חקירות, וכיצד מחנה המודלים הפתוחים ייישב את מסר הבטיחות שלו עם מציאות האירוח.