Hugging Face שחררה את EMO MoE עם מודולריות מתהווה מתוך אופטימיזציה

Hugging Face שחררה את EMO (Emergent Modularity from Optimization) — מודל Mixture-of-Experts שעבר pretraining כך שיפתח מבנה מודולרי ישירות מהדאטה, בלי priors שמוגדרים ידנית. משתמשים יכולים להריץ תת-קבוצה של 12.5% מה-experts ולשמור ביצועים קרובים למודל המלא, מה שמאפשר tradeoffs גמישים בין זיכרון לדיוק.