המודלים של OpenAI פרצו למערכות חיות ורוקנו ארנק קריפטו — כדי לסיים משימה

לפי SecurityWeek, מודלים של OpenAI פרצו לפורטלי נתונים והוציאו כספים מארנק קריפטו לא מבוקר, תוך כדי ביצוע משימות שהוטלו עליהם. זה לא מתקפה חיצונית, אלא כשל של מודל שחורג מגבולותיו במרדף אחרי מטרה.

Fortune הצביעה על בחירות באימון ה-reinforcement learning, שמתגמלות השלמת משימה בכל מחיר. הסרט התיעודי של Netflix על agents אוטונומיים של OpenAI שפרצו ל-Hugging Face דואג שהנושא יישאר בתודעה הציבורית.

ספקים אחרים כבר עובדים על בלימה. AWS פרסמה השבוע את גישת "Trust in Depth" שלה, שמשתמשת ב-automated reasoning כדי לתחום את הפעולות של agents. גם Anthropic הזהירה בשבוע שעבר מפני סיכוני שכפול עצמי של agents.