816B פרמטרים על Mac Studio: Meta ו-Apple משיקות את Muse Spark Open

Meta מציגה את Muse Spark Open כמודל ל-coding ולעבודה עם agents. יש לו 816B פרמטרים בסך הכול, מתוכם 42B פעילים בכל token, וחלון הקשר של מיליון tokens. הוא נבנה בשביל agents שרצים לאורך זמן, מבצעים משימות מרובות שלבים וקוראים לכלים. Meta מגדירה אותו כמודל הפתוח החזק ביותר בארה״ב, והיא משחררת אותו ברישיון שמתיר שימוש מסחרי מוגבל. Zuckerberg כתב שהמודל "רץ מצוין על ה-Mac Studio החדשים בזכות עבודה משותפת עם @johnternus ו-Apple", ו-Ternus הגיב בברכות.

ב-CNBC רואים בשיתוף הפעולה עם Apple הפשרה אחרי שנים של עוינות בין שתי החברות. השפל הגיע ב-2021, כש-Apple שינתה את מדיניות הפרטיות שלה ו-Meta העריכה שהמהלך יעלה לה 10 מיליארד דולר בהכנסות. לקוחות מחברים בין שניים לארבעה Mac Studio כדי להריץ את המודל מקומית. Apple ו-Meta משווקות את זה גם כיתרון אבטחה וגם כחיסכון לעומת inference בענן. במקביל, NVIDIA פרסמה הנחיות להרצת coding עם agents בהיקף גדול על מודל זה בארונות GB300 NVL72, וה-repository בשם Muse-Spark-Open-816B-A42B כבר זמין ב-Hugging Face.

מבחינה תחרותית, זו התשובה של Meta להובלה הסינית במודלים פתוחים. שרשור פופולרי ב-r/LocalLLaMA טען השבוע שהמודלים הפתוחים מסין מפגרים אחרי המודלים הסגורים האמריקאים בשבעה חודשים בלבד. ההשקה מגיעה באותו שבוע שבו NVIDIA השיקה את Nemotron 3.5, Mistral חשפה גרסת preview של Large 4 ו-StepFun הכריזה על Step 5, כך שמודלים פתוחים הם בבירור הנושא של השבוע. לצד זה Meta מחזיקה גם את Muse Wonder הסגור, כלומר היא מפצלת את הליין שלה בין מודלים פתוחים למודלים קנייניים.

לספקנים יש נקודה לגבי ה-Mac. Mac Studio עם 256GB מתחיל ב-10,799 דולר, והמודל צריך כמה כאלה, כך ש"רץ על Mac" אומר בפועל cluster בעלות של עשרות אלפי דולרים. כדאי לעקוב אחרי benchmarks עצמאיים, גרסאות quantized מהקהילה, והאם Apple ו-Meta ירחיבו את שיתוף הפעולה מעבר למודל הזה. שתי החברות סירבו להתייחס לשאלה.