Lighthouse Attention של Nous Research משיגה האצה של 1.4-1.7x ב-pretraining ב-long context

Lighthouse Attention הוא מנגנון attention היררכי מבוסס בחירה שפועל אך ורק בזמן אימון — עוטף scaled dot-product attention במהלך ה-pretraining ומוסר אחריו. בניגוד ל-NSA/HISA שמבצעים pooling רק על K/V, Lighthouse מבצע pooling סימטרי על Q, K ו-V לאורך פירמידה רב-רזולוציונית.