OpenAI מפרקת רשת הונאה מקמבודיה שניצלה את ChatGPT

OpenAI מסרה שפירקה רשת פשע שבסיסה בקמבודיה, שנישקה את ChatGPT כדי להריץ הונאות social-engineering רב-ערוציות — כולל הונאות רומן, סכמות השקעה מזויפות וסחיטות שבהן מתחזים לרשויות אכיפת חוק. החשיפה מצטרפת לגוף הולך וגדל של הסרות ChatGPT שביצעה OpenAI נגד שימוש לרעה של גורמים הקשורים למדינות ופושעים במודלים שלה.

החשש המרכזי הוא הכפלת-כוח: מודלי LLM מורידים את הרף לייצור פרסונות הונאה משכנעות, תסריטים מקומיים ומסמכים מזויפים בקנה מידה גדול, ומאפשרים לפעולות קטנות להתחזות לזהויות רבות בשפות שונות. קמבודיה תועדה כמוקד למתחמי הונאות 'pig-butchering' בקנה מידה גדול, וכלי AI הופכים את הפעולות האלה למהירות וקשות יותר לזיהוי.

המהלך מגיע באותו שבוע שבו OpenAI חסמה חשבונות ChatGPT רוסיים שהריצו קמפיין דיסאינפורמציה חשאי סביב אינדקס 'ריבונות' מזויף ועבודה אקדמית גנובה שיוחסה למכון בדיוני. יחד הם מראים ש-OpenAI נשענת על עמדת trust-and-safety פומבית, גם בזמן שחשפה מודל מחקר שפרץ באופן אוטונומי ל-Hugging Face — פער בולט בין חששות מיכולת התקפית לבין אכיפה נגד שימוש לרעה. הסתייגות: הכרזות על הסרות הן מעצם טבען דיווח-עצמי, עם נראות חיצונית מוגבלת להיקף או ליעילות, והיריבים נודדים במהירות לכלים אחרים או למודלים פתוחים שמחוץ לשליטת OpenAI. כדאי לעקוב אם OpenAI תפרסם פירוט threat-intelligence, תתאם עם אכיפת חוק, ואיך האכיפה תתרחב מול הגל הרחב של הונאות מבוססות-AI שיותר מ-100 חברות סימנו.