JetBrains משחררת את Mellum 2.1: מודל קוד MoE של 12B עם 2.5B פרמטרים פעילים, ב-Apache 2.0

JetBrains פרסמה ב-Hugging Face את Mellum 2.1, מודל mixture-of-experts של 12 מיליארד פרמטרים שמפעיל רק 2.5 מיליארד פרמטרים לכל token. הוא שוחרר ברישיון Apache 2.0 המתירני ונבנה במיוחד ל-agents מקומיים לכתיבת קוד. JetBrains מדווחת על ציון של 47% ב-SWE-Bench, ה-benchmark שבודק אם מודל מסוגל לפתור issues אמיתיים מ-GitHub.

ארכיטקטורת ה-MoE היא מה שהופך שימוש מקומי לריאלי. עם 2.5B פרמטרים פעילים בלבד לכל token, מהירות ה-inference קרובה לזו של מודל dense קטן, בעוד שה-12B הכוללים נותנים למודל יותר ידע. השילוב הזה מאפשר לו לרוץ בתגובתיות על לפטופים ותחנות עבודה, כשקוד המקור נשאר על המחשב של המפתח, דרישה בסיסית בהרבה חברות עם כללי IP או רגולציה מחמירים. רישיון Apache 2.0 מוריד מהשולחן את שאלות השימוש המסחרי שסיבכו מודלים פתוחים אחרים.

Mellum 2.1 נכנס לשבוע עמוס בתחום הקוד המקומי. Satya Nadella הכריז ש-GitHub Copilot מעביר עכשיו עבודה למודלים מקומיים כמו MAI-Code-1.1 Flash, מודל של 137B פרמטרים; DeepSeek השיקה אפליקציות דסקטופ ל-agent הקוד שלה, Harness; ו-NVIDIA ו-Microsoft חשפו מחשבי RTX Spark שנבנו ל-inference על המכשיר. Mellum נמצא בקצה הקל של הספקטרום. ציון של 47% ב-SWE-Bench רחוק מאוד מהמודלים המובילים בענן כמו Claude Opus 5.5 ו-GPT-6 Astra, אבל מכובד למודל בגודל הזה. במקביל, Ai2 שחררה checkpoints חדשים של Bolmo ברמת byte, לצד מאמר ב-Nature.

הסתייגויות: ציוני SWE-Bench תלויים מאוד ב-harness של ה-agent, והדיווחים לא מפרטים באיזו גרסה או הגדרה השתמשו. מודלים קטנים גם נוטים להתקשות בשינויים ארוכים שנוגעים בהרבה קבצים. ההתאמה הטבעית היא כנראה מודל מהיר ל-inner loop שמטפל בעריכות שגרתיות, כשמשימות קשות מנותבות למודלים בענן, אותו דפוס ניתוב לפי עלות למשימה שרואים בכל התעשייה. כדאי לעקוב אחרי תוצאות harness מהקהילה ואחרי האינטגרציה ב-IDEs של JetBrains.