מחקר Meta מגלה מעברי פאזה ספקטרליים בהיגיון של Transformer

חוקרי Meta גילו מעברי פאזה ספקטרליים במרחבי הפעלה נסתרים כאשר transformer-ים עוסקים בהיגיון לעומת זכירת עובדות, תוך ניתוח 11 מודלים מ-5 משפחות ארכיטקטורה. הממצאים חושפים הבדלים חישוביים יסודיים בין מצבי היגיון לאחזור ידע במערכות AI.