Aleph Alpha משחררת את Kolibri-1: MoE של 78B, רק 3.46B פעילים ומיליון tokens של context

עם Kolibri-1, Aleph Alpha מנסה לחזור לשיחה על המודלים המובילים עם מודל אירופי ברישיון פתוח. המודל המלא זמין ב-Hugging Face תחת Apache 2.0, כך שכל אחד יכול להוריד אותו, להריץ, לשנות ולמסחר. החברה ממצבת אותו כמודל ריבוני: נבנה באירופה, עבור ממשלות וארגונים אירופיים שרוצים שליטה על ה-stack של ה-AI שלהם.

הארכיטקטורה היא מה שמעניין את חובבי המודלים המקומיים. מדובר ב-MoE של 78B פרמטרים שמפעיל רק 3.46B פרמטרים לכל token. כך מתקבלת קיבולת ידע של מודל גדול בעלות inference של מודל קטן, וזה הופך הרצה על חומרה צרכנית מתקדמת או על תחנת עבודה לסבירה. חלון context של מיליון tokens הוא ארוך במיוחד למודל פתוח בגודל הזה.

התגובות היו חזקות: 655 נקודות ו-326 תגובות ב-Hacker News, ו-527 upvotes ב-r/LocalLLaMA, שם משתמשים שיבחו את תכנון ה-MoE היעיל ואת הרישיון המתירני. הוא נכנס לזירה צפופה של מודלים פתוחים, שכוללת את DeepSeek V4.1 Flash (MIT), את Muse Glimmer 30B של Meta ואת המודלים הפתוחים של Mistral, שגייסה באותו יום 3 מיליארד אירו למהלך הריבוני שלה. ההסתייגות הגיעה מהר. Ethan Mollick ציין ש'המודל הריבוני החדש של אירופה עבר fine-tune על נתונים שנוצרו על ידי… GLM ו-Qwen', כלומר מודלים סיניים. זה מחליש את טיעון הריבונות וממחיש עד כמה distillation הפך לנפוץ. מה שכדאי לעקוב אחריו עכשיו: benchmarks עצמאיים ודיווח ברור על מקורות נתוני האימון.