Nous Research משחררת Token Superposition Training, ומקצרת pretraining של LLM עד פי 2.5

Nous Research פרסמה את Token Superposition Training (TST), שיטת pretraining דו-שלבית שממצעת embeddings של tokens עוקבים ל-'bags' בשלב הראשון וחוזרת ל-next-token prediction סטנדרטי בשני. השיטה חותכת זמן אימון בקיר עד פי 2.5 ב-FLOPs זהים, על מודלים בטווח 270M-10B.