Zyphra השיקה את ZAYA1-8B-Diffusion-Preview — מודל ה-diffusion MoE הראשון שהומר מ-autoregressive LLM

Zyphra הדגימה ש-MoE אוטורגרסיבי ניתן להמיר ל-discrete diffusion model בלי רגרסיה שיטתית ב-eval loss. ZAYA1-8B-Diffusion-Preview משיג עד פי 7.7 שיפור ב-inference, בזכות מעבר מ-decoding שמוגבל ב-memory bandwidth ל-decoding שמוגבל ב-compute.