מפלצת פתוחה מצרפת: Mistral משחררת את Large 4 עם 1.05T פרמטרים להגנת סייבר

Mistral שחררה את המודל הגדול ביותר שלה כמודל פתוח. ל-Mistral Large 4 יש 1.05 טריליון פרמטרים בארכיטקטורת MoE, עם כ-52B פרמטרים פעילים לכל token וחלון הקשר של מיליון tokens. השחרור מגיע אחרי preview ציבורי ב-6 באוקטובר, והמודל זמין ב-Hugging Face ובעננים ארגוניים. לפי Mistral, הוא אומן במרכזי הנתונים שלה עצמה עם reinforcement learning בקנה מידה גדול.

המסר המרכזי הוא cybersecurity וריבונות. Mistral מדווחת על ביצועים חזקים ב-benchmarks של סייבר, ובמקביל על ״שיעור סירוב ממוצע של 96.6% לבקשות סייבר זדוניות, הגבוה ביותר שמדדנו בין המודלים הפתוחים״. מכיוון שאפשר להוריד את המודל, צוותי אבטחה וממשלות יכולים להריץ אותו on-premises בלי לשלוח מידע רגיש לספקי ענן אמריקאים. החוקר Sagar Vaze מ-Mistral טען שחלק ממתקפות הסייבר החמורות האחרונות שנעזרו ב-AI הגיעו ממודלים סגורים, לא פתוחים.

השחרור נוחת בשבוע עמוס. Gemini 4 Carbon של Google מוביל את הערכות הסייבר של המודלים הסגורים עם 88.2% ב-SEC-bench Pro, ו-Daybreak Red של OpenAI הגיע ל-GovCloud. Large 4 הוא המתחרה הפתוח החזק ביותר, והדיון ב-Hacker News, עם 1,706 נקודות ו-438 תגובות, חגג אותו כשחרור פתוח משמעותי.

הוויכוח הוא האם מודל עם יכולות סייבר כאלה צריך להיות פתוח בכלל. אחרי שהמודל בחוץ, אפשר לעשות לו fine-tune ולהעלים את מנגנוני הסירוב. גם דרישות החומרה כבדות: מודל MoE של טריליון פרמטרים דורש node עם כמה GPUs, גם עם 52B פעילים בלבד. כדאי לעקוב אחרי הערכות סייבר עצמאיות ואחרי גרסאות מכווצות (quantized) מהקהילה.