Google DeepMind מתייחסת ל-agents המתקדמים שלה עצמה כאל 'איום פנימי'

התוכנית החדשה של DeepMind, שדווחה ב-Fortune ונדונה בהרחבה ב-X, מעגנת רשמית שינוי בתפיסת בטיחות ה-agent של חברות ה-AI: במקום להתגונן רק מפני תוקפים חיצוניים, היא מתייחסת ל-coding agent אוטונומי ויכולתי כאל גורם פנימי בעל הרשאות שעלול לגרום נזק בשל טעות או חוסר alignment. הצוות מספר שביקר מיליוני משימות של coding agents כדי לאמן monitor חי שמסוגל לתפוס פעולות מסוכנות — כמו מחיקת נתונים לא מכוונת — לפני שהן מתבצעות.

הארכיטקטורה בנויה בשכבות פיקוח: מודלי AI משניים צופים ב-agent הראשי ומסמנים חריגות לבדיקה אנושית או אוטומטית. ב-DeepMind מודים שרוב הסימונים הנוכחיים נובעים מ-agents שמבינים לא נכון את ההנחיות ולא מפעולה זדונית, אך ממסגרים את המערכת כתשתית למודלים יכולתיים יותר בעתיד, שבהם הסיכון גבוה יותר.

התזמון חד. זה נוחת באותו שבוע שבו ממשלת ארה"ב השעתה את Fable 5 של Anthropic בשל פרצת jailbreak, מה שהציב את בטיחות המודלים המובילים במרכז זרקור הרגולציה. המסגור של DeepMind סביב 'rogue AI' ממצב את Google כפרואקטיבית בממשל agents בדיוק כשארגונים שוקלים כמה אוטונומיה להעניק ל-coding agents. מבקרים יציינו את האירוניה הברורה — חברת AI שדוהרת לשחרר agents יכולתיים יותר ויותר ובמקביל מפרסמת תוכנית להתגונן מפניהם — ואת השאלה המעשית אם מודלי ה-monitor יוכלו לעמוד בקצב ה-agents שעליהם הם משגיחים.