Mistral חושפת את Large 4 ״Le Chonk״: מודל פתוח של כטריליון פרמטרים שאומן באירופה

Mistral חשפה גרסת preview של Mistral Large 4, שזכה לכינוי "Le Chonk". מדובר במודל MoE עם כטריליון פרמטרים בסך הכול ו-49 מיליארד פעילים לכל token. הוא אומן על 3,800 מעבדי NVIDIA Grace Blackwell, במרכזי נתונים ש-Mistral מפעילה בעצמה באירופה. לטענת Mistral, הוא אחד המודלים הפתוחים החזקים שקיימים היום, עם שיפורים בקוד, ב-workflows של agents ובהבנה מולטימודלית. ה-preview מגיע אחרי שב-20 באוקטובר החברה השיקה את מודלי הדיבור Voxtral 3 ו-Agent SDK.

לארכיטקטורה יש משמעות ישירה לכלכלת ה-deploy. עם 49 מיליארד פרמטרים פעילים, עלות ה-inference לכל token קרובה יותר לזו של מודל dense בגודל בינוני, אף שהקיבולת הכוללת מתחרה במודלים המובילים. האימון על תשתית אירופית ש-Mistral מפעילה בעצמה הוא מסר ריבונות שמכוון לממשלות באיחוד האירופי ולתעשיות מפוקחות, שחוששות מעננים אמריקאיים וסיניים.

מבחינה תחרותית, Mistral נלחצת משני הכיוונים. המודלים הפתוחים הסיניים זולים יותר: Ecosia דיווחה השבוע שקיצצה בכ-50% את עלויות ה-AI שלה אחרי שעברה מ-Mistral ל-Qwen, ל-GLM ולאחרים. ובמקביל, Muse Spark Open של Meta ו-V4.1 של DeepSeek מתחרים על תשומת הלב במחנה המודלים הפתוחים. Large 4 הוא הטיעון של Mistral שהיא עדיין יכולה לשחק בצמרת. שיתוף פעולה נפרד עם NVIDIA בתחום ההנדסה התעשייתית, שהוכרז באותו יום ושהמנכ"ל Arthur Mensch הגדיר "עמוד תווך מרכזי במחקר שלנו", מחזק את הנישה הארגונית שלה.

כמה הסתייגויות: זו גרסת preview, וטענות הביצועים מגיעות מ-Mistral עצמה, בלי benchmarks בלתי תלויים. הרצה של מודל בגודל טריליון פרמטרים דורשת חומרה רצינית, גם עם הפעלה דלילה. שווה לעקוב אחרי תנאי הרישיון, מועד השחרור והתמחור מול Qwen.