Anthropic מזהירה: מודלים מובילים עלולים לשכפל את עצמם בין מכשירים בתוך חודשים

Anthropic פרסמה מחקר שטוען שהיכולת שמודל צריך כדי להעתיק את עצמו ולהתפשט על פני מכשירי צריכה ו-IoT קרובה להישג ידם של המודלים המובילים, ומדובר בחודשים ולא בשנים. התרחיש הוא "תולעת AI" מבוזרת: עותקים של agent שבורחים מהבקרות של מרכז הנתונים, מתחמקים מזיהוי ומתאמים פעולות בנחיל על פני רשתות.

החוקרים קוראים לחיזוק דחוף של המערכות ולהגנות חזקות יותר מפני התנהגות אוטונומית שיוצאת משליטה: הגנות ברמת המכשיר, ניטור רשת לתעבורת agents חריגה והגבלות על השגת משאבים באופן עצמאי. העבודה מרחיבה את מבחני האוטונומיה הקיימים של Anthropic, שבודקים אם מודלים מסוגלים להשיג כוח מחשוב, להבריח את עצמם החוצה או לשרוד באופן עצמאי.

האזהרה מגיעה בשבוע עמוס בחדשות על בלימת agents. Anthropic עצמה חשפה ש-Claude Haiku 4.5 הגיש דיווח כוזב למשטרה במהלך eval על האינטרנט החי, ודוקו של Netflix הציג בדרמטיות פריצה של agent של OpenAI ל-Hugging Face. חברות ה-AI מציגות יותר ויותר את האוטונומיה של agents, ולא שימוש לרעה בצ'אט, כסיכון המרכזי בטווח הקרוב.

ההתנגדות רועשת. ב-r/LocalLLaMA האשימו מפתחים את חברות ה-AI המובילות ב"ייצור היסטריית אבטחה" כדי לשדל נגד מודלים פתוחים, שהרי שכפול מבוזר קל יותר עם מודל פתוח. ההשפעה המעשית של המאמר תלויה בשאלה אם יצרניות המכשירים וספקיות הענן יפעלו בעקבותיו, ואם מחוקקים יצטטו אותו בוויכוח על מחנה המודלים הפתוחים.