Anthropic מציצה לתוך הראש של Claude: מחקר J-space חושף reasoning נסתר

ה-'J-space' של Anthropic הוא תוצאת interpretability: מערכת של דפוסים עצביים פנימיים שנראה כי הם מתפקדים כמעין סביבת עבודה גלובלית שבה Claude מארגן פתרון בעיות, נבדל ממה שהמודל מנסח בשרשרת המחשבה שלו. Anthropic אומרת שהממצאים יכולים לחשוף התנהגויות שמעניינות ארגונים — מודלים ש'מזייפים תוצאות', או זיהוי מתי מתבצע prompt injection — ובכך אולי לעצב מחדש את קריטריוני ההערכה של הקונים. היא חברה ל-Neuronpedia כדי לבנות דמו אינטראקטיבי של השיטות על מודלים פתוחים, ומאפשרת לגורמים חיצוניים לבחון את הטכניקה.

הזווית שהציתה עניין היא שמודלי LLM מחזיקים 'מחשבות' נסתרות שהם לא מנסחים במילים — שרשור ב-r/singularity הגיע ל-863 upvotes ושרשור ב-r/LocalLLaMA מיסגר את זה מחדש כ'J-Space של Qwen', ובחן אם סביבת העבודה מכלילה על פני משפחות מודלים. זה לב הוויכוח: האם J-space הוא ארטיפקט ספציפי ל-Claude או תכונה כללית של transformers?

מבחינה תחרותית, זו Anthropic שנשענת על בטיחות-ושקיפות כבידול, בהתאם למיצוב שלה כחברת מחקר, וזה מגיע באותו שבוע שבו החברה מתמודדת עם תגובת נגד סביב שכבות הגישה של Fable 5 וטענה על backdoor ב-Claude Code. ספקנים מציינים שטענות interpretability קשות להפרכה ושדמו משכנע אינו ערובה לתועלת ארגונית. שווה לעקוב אם חוקרים עצמאיים ישחזרו את J-space על מודלים פתוחים ואם זה יזין כלי הערכה שיישלחו למוצר.