Meta מפעילה LLM לאיתור מודעות שמכוונות לתוכן פגיעה מינית בילדים

לפי TechCrunch, Meta משיקה כלי AI חדשים שמכוונים לבעיית מודרציה קשה: מודעות שלא מכילות תוכן פוגעני בעצמן, אבל משמשות שלטי הכוונה אליו. המודעות האלה נשענות על שפה מוצפנת, אימוג'ים, תמונות תמימות למראה או הפניות לאתרים אחרים, וכך עוקפות מערכות שמבוססות על מילות מפתח ועל התאמת hash.

הגישה משתמשת ב-LLMs כדי להסיק כוונה והקשר מתוך טקסט המודעה, התמונות ודפי הנחיתה, במקום לחפש התאמה לתוכן מוכר. לצד זה Meta מפעילה agents של red-teaming, יריבים אוטומטיים שמייצרים וריאציות חמקניות ובודקים את המסווגים תחת לחץ לפני שגורמים זדוניים ימצאו את הפרצות. כך הזיהוי הופך למשחק חתול ועכבר מתמשך.

ברקע יש לחץ רגולטורי ותדמיתי. CNBC מציין ש-Meta הסכימה לאחרונה להסדר של כמעט 17 מיליארד דולר עם קבוצת תובעים כלליים של מדינות, בעקבות טענות שהציגה באופן מטעה את הנזקים לבני נוער ב-Facebook וב-Instagram. במקביל היא מבקשת מהציבור לסמוך על ה-agent שלה, Muse, עם מידע אישי מאוד. השקעה גלויה בבטיחות ילדים עוזרת לה לבנות את האמון הזה. גם Google ו-TikTok משתמשות בלמידת מכונה לזיהוי CSAM, אבל זיהוי של שלטי הכוונה במודעות באמצעות LLMs הוא תחום חדש יחסית.

כמה הסתייגויות: Meta לא פרסמה נתוני precision או recall. מסווגים מבוססי LLM בהיקף של פלטפורמת פרסום מעוררים חשש מ-false positives אצל מפרסמים לגיטימיים, והצד השני מסתגל מהר. כדאי לחכות למספרים בדוחות השקיפות ולראות אם ארגונים להגנה על ילדים יאשרו שהמערכת באמת משפיעה.