טריליון פרמטרים, פתוח לכולם: Mistral השיקה את Large 4 'Le Chonk', והמודל המלא מגיע ב-Oct 27
Mistral Large 4 הוא ההימור הגדול ביותר של החברה עד היום על AI אירופי ריבוני ברמת המודלים המובילים. למודל טריליון פרמטרים בסך הכול, אבל רק 49 מיליארד מהם פעילים בכל token. Mistral אימנה אותו מאפס על כ-3,800 עד 4,000 מעבדי NVIDIA Grace Blackwell שיושבים במרכזי נתונים באירופה. לפי החברה, הוא תומך ביותר מ-160 שפות, כולל כל השפות הרשמיות של האיחוד האירופי, והוא מכוון לעומסי עבודה של agents. גרסת preview של ה-API עלתה ב-6 באוקטובר, והמודל הפתוח המלא אמור לצאת ב-27 באוקטובר. שרשור ההשקה הפך לדיון ה-AI הגדול של היום ב-Hacker News, עם 1,590 נקודות ו-964 תגובות.
המבנה הדליל הוא מה שמחזיק את הכלכלה של המודל. רק כ-5% מהפרמטרים פעילים בכל token, כך שעלויות ה-inference קרובות יותר לאלה של מודל dense בגודל 50B בערך, בזמן שהקיבולת הכוללת נמצאת ברמה של המודלים המובילים. Mistral מדווחת על 63% ב-Deep SWE 1.1. היא גם הזמינה מ-Surge AI הערכה אנושית עיוורת, שבה מהנדסי תוכנה מנוסים דירגו את הקוד שהמודל כותב. זה צעד לא שגרתי לכיוון אימות עצמאי, עוד לפני שהמודל עצמו משוחרר.
מבחינה תחרותית, Mistral מציגה את Large 4 כמודל שמצמצם את הפער מול מובילי המודלים הפתוחים הסיניים, DeepSeek ו-Qwen. התזמון חשוב משתי סיבות. Zuckerberg רמז זה עתה ש-Meta תהיה בררנית יותר במה שהיא משחררת כ-open-source, ו-Reflection AI השיקה את Beam באותו יום. פרשנים, בהם Le Monde ו-Wired, רואים בהשקה ניסיון של אירופה לתפוס את משבצת המודלים הפתוחים שאינם סיניים, עכשיו כש-Llama נסוג. Simon Willison סיכם את הקפיצה האיכותית במבחן ה-SVG הלא רשמי שלו במשפט אחד: 'Mistral can pelican now'.
ההסתייגות המרכזית היא שנשאר מעט זמן ל-benchmarks עצמאיים לפני 27 באוקטובר. הטענה ל'מודל הטוב ביותר מחוץ לסין' נשענת בעיקר על המספרים של Mistral עצמה. ב-r/LocalLLaMA כבר מתווכחים איזו חומרה בכלל נדרשת כדי להריץ MoE של טריליון פרמטרים. כדאי לעקוב אחרי הערכות של צד שלישי ואחרי תנאי הרישיון בפועל כשהמודל ייצא.