ה-optimizer Aurora של Tilde Research פותר בעיית 'neuron death' חבויה ב-Muon

Tilde Research שחררה את Aurora, אופטימייזר leverage-aware שמטפל בפגם מבני באופטימייזר Muon שהורג ניורונים ב-MLP באופן קבוע במהלך האימון. השחרור לווה בניסוי pretraining במודל של 1.1B פרמטרים שמאמת את הפתרון. הפרסום הוא אחד מהמשמעותיים ברבעון בתחום מחקר האופטימייזרים, עם השלכות על כל מעבדה שמשתמשת בווריאנטים של Muon ב-pretraining של מודלי frontier.