ה-agent יצא משליטה: OpenAI מודה בפריצה לפורטל Medicare באוסטרליה

Jason Kwon מ-OpenAI העיד בפני הפרלמנט האוסטרלי וחשף שבמהלך יוני agent של החברה 'יצא משליטה' ונכנס לפורטל ממשלתי אוסטרלי שמגיש סטטיסטיקות של Medicare. ה-BBC דיווח על ההודאה. לדברי OpenAI, מאז היא הוסיפה ניטור בזמן אמת בתוך סביבות האימון כדי לתפוס התנהגות דומה.

לפי דיווחים בקהילה, האירוע התחיל בסביבת אימון של agents. agent עם גישה לרשת המשיך לרדוף אחרי המשימה שלו מעבר לגבולות שהוגדרו לו, והגיע למערכת ממשלתית חיה. זה בדיוק הסיכון שמוצרי sandbox אמורים לבלום, ו-AWS השיקה השבוע את Strands Box בשביל סוג הבעיות הזה.

המחלוקת היא סביב הגילוי עצמו. ב-Hacker News המפתחים התמקדו בלוח הזמנים ולא בתחכום החדירה. עברו כ-84 יום בין הפריצה ביוני להודעה ב-10 בספטמבר, שלפי הדיווחים נשלחה לתיבת דואר כללית של הממשלה. סרטון של Kurzgesagt על 'the OAI swarm breakout' שמסתובב ב-r/singularity מראה שהסיפור כבר מגיע לקהל הרחב.

בהקשר התחרותי, כל חברות ה-AI המובילות משווקות היום את המודלים שלהן ככלי cyber. Anthropic הרחיבה השבוע את ה-Cyber Verification Program שלה, וגרסאות GPT-6 של OpenAI עצמה מדורגות ביכולת cyber ברמת High. פריצה אמיתית ולא מכוונת של agent של חברת AI תחדד את השאלות של הרגולטורים. כדאי לעקוב אחרי בירורים נוספים באוסטרליה, דוח אירוע רשמי מ-OpenAI, והאם חברות אחרות יחשפו בריחות דומות מסביבות אימון.