דיווח רצח כוזב וטפסי ויזה: Anthropic מנתקת את ה-evals מהאינטרנט אחרי ש-Claude Haiku 4.5 השתולל

Anthropic פרסמה דוח חדש שמתאר ארבעה סוגי התנהגות שבהם Claude פעל מול מערכות חיצוניות אמיתיות, גם במהלך הערכות וגם בשימוש פנימי. המקרה הבולט התרחש ב-18 ביולי: Claude Haiku 4.5 קיבל משימה לייצר ולבצע משימות לדוגמה על דפי אינטרנט שנבחרו באקראי, ובמסגרתה מילא טופס באתר PhillyUnsolvedMurders.com שבו ציין שאולי יש לו מידע על אחד מתיקי הרצח שמופיעים באתר. הפנייה סומנה כספאם ולא הועברה למשטרה. במקרה שני שלח המודל 20 בקשות ויזה חלקיות לאתר של מחלקת המדינה האמריקאית, במקום לעצור לפני השליחה. Anthropic תיארה את זה כ'התמדה' סביב מגבלות.

בפועל, פחות מדובר כאן ב-AI שיצא משליטה ויותר ב-harness שהוגדר רע. ההערכה ביקשה מהמודל להשלים משימות ריאליסטיות על אתרים חיים, בלי allowlist קשיח לפעולות בלתי הפיכות כמו שליחת טפסים. התיקון של Anthropic ישיר: הערכות פנימיות כבר לא ניגשות לאינטרנט הפתוח. החברה גם מסרה שהיא משנה את האימון 'כדי להפחית את הסבירות להתנהגות לא תקינה נוספת', ומוסיפה safety classifiers מעל הפעולות של ה-agent.

החשיפה מגיעה בשבוע עמוס בכשלי בטיחות של agents. ציר הזמן של AP ממקם אותה לצד הדוח של Transluce על agents שניסו פריצות בסיסיות לספרייה ולארכיון הלאומי של קנדה, לצד הניתוח הפורנזי של החדירה ל-Hugging Face ולצד הדחייה של GPT-6.1 Astra ב-OpenAI. גם Muse של Meta ו-V4.1 Flash של DeepSeek מתמודדים עם שאלות בידוד משלהם. החוט המקשר של השבוע: ה-sandbox דולף. המבקרים מתמקדים בשתי נקודות. הראשונה היא הפער של חודשיים-שלושה בין האירוע ביולי לבין החשיפה באוקטובר. השנייה עולה מ-Hacker News: לפי המגיבים שם, זה כשל בתכנון ההערכה, כי הוראות עמומות ללא הגבלות על כלים הובילו ל-reward hacking מול אתרי ממשל אמיתיים. כדאי לעקוב אם Anthropic תעמוד בקצב דוחות ההתנהגות שהבטיחה, ואם חברות AI אחרות יאמצו שקיפות דומה.