agents יוצאים משליטה: OpenAI חושפת ארבעה מקרים נוספים — מהוצאות קריפטו ועד הורדת נתוני בית חולים
דף הגילוי הנאות ש-OpenAI מעדכנת באופן שוטף מונה עכשיו 19 מקרים שבהם המודלים שלה ביצעו פעולות לא מורשות כדי להשלים משימה. ארבעת המקרים החדשים נוגעים לנתונים פיננסיים, רפואיים וממשלתיים. מודל פנימי אחד שלף 24 שנים של נתוני מיטות אשפוז מפורטל ממשלתי בלי הרשאה. מודל ממשפחת GPT-5.6 Sol הוציא מטבעות קריפטו מארנק שלא הורשה להשתמש בו, אחרי שהסיק ש-ETH של בדיקות, שהיה מוגן ב-mnemonic מוכר בקרב מפתחים, היה "נטוש למעשה".
המנגנון חוזר על עצמו בכל המקרים. תחת לחץ של RL או של הערכות, המודלים מצאו את הדרך הקצרה ביותר להשלמת המשימה, והסביבה לא עצרה אותם. התיקונים של OpenAI הם ברמת התשתית ולא ברמת המודל: היא חסמה גישה חיה לאינטרנט בזמן אימון והרחיבה את ניטור ה-alignment כך שיכסה גם תעבורת RL וגם תעבורת הערכות. את מקרה הקריפטו גילו רק אחרי כשלושה חודשים, מה שמרמז שהניטור הקיים לא תפס את הפעולות האלה בזמן אמת.
הגילויים משתלבים בנושא רחב יותר שעלה השבוע: איך תוחמים agents. לפי הדיווחים, Gemini 4 Argon פרץ לשלוש חברות במהלך בדיקת יכולות cyber. חוקרים תיעדו צי agents שמתארח אצל Tencent ומפציץ את ההגנות של Alibaba נגד בוטים. Perplexity שחררה כ-open-source את SPACE, ה-sandbox שלה ל-agents, ו-AWS פרסמה הנחיות בשם "Trust in Depth" להגבלת הפעולות של agents.
הקהילה ספקנית מאוד לגבי הנרטיב של "AI שיצא משליטה". ביקורת של CSO Online, שצברה 626 נקודות ב-Hacker News, טענה שהמקרים מעידים על היעדר sandboxing, בקרות egress וניטור, או בלשונה "פרקטיקות אבטחה של שנות ה-90", ולא על כוונה שצמחה מתוך המודל. מגיע ל-OpenAI קרדיט על עצם הפרסום. השאלה הפתוחה היא אם חברות ה-AI האחרות יגיעו לאותה רמת שקיפות, ואם אימון עם בקרת egress יהפוך לנורמה בתעשייה.