816B על שני Mac Studio: Apple MLX מוסיפה RDMA על Thunderbolt ומריצה את Muse Spark Open של Meta

Apple ו-Meta שיתפו פעולה כדי שהמודל הפתוח החדש של Meta, Muse Spark Open בן 816 מיליארד פרמטרים, ירוץ מקומית על חומרה של Apple. תצורת הייחוס מחברת שני Mac Studio עם M5 Ultra, שכל אחד מהם ניתן להגדרה עם עד 512GB של זיכרון מאוחד, ומגיעה ל-36.73 tokens לשנייה. זה מספיק מהר לעבודת קוד אינטראקטיבית עם agents.

העבודה שאפשרה את זה נעשתה ב-MLX, ספריית המערכים ה-open-source של Apple, שקיבלה שלוש תוספות. תמיכה ב-Neural Accelerator מאפשרת ל-GPU של דור M5 לנצל את יחידות המטריצות הייעודיות שלו. RDMA על גבי Thunderbolt מאפשר לשני מחשבי Mac או יותר לשתף tensors בזמן השהיה נמוך, ובפועל הופך אותם לצומת inference אחד. kernels חדשים ל-MoE מנתבים tokens ביעילות דרך שכבות ה-experts הדלילות של Muse Spark Open. Apple הדגימה תהליכי עבודה של agents, כמו תיקון באגים, שרצים מקצה לקצה בלי אף קריאה לענן.

התזמון מתנגש בהשקת הניידים עם RTX Spark של NVIDIA, שהגיעה יום אחרי. שתי החברות מציגות זיכרון מאוחד כדרך ל-AI מקומי רציני, אבל בקני מידה שונים: נייד בודד עם 128GB מול אשכול שולחני של כמה טרה-בייט. לארגונים עם מגבלות על מיקום הנתונים, הרצת מודל בסדר גודל של 800B על כשתי תחנות עבודה היא חלופה משמעותית ל-API בענן, גם בעלויות וגם בממשל נתונים.

יש הסתייגויות. שני Mac Studio עם M5 Ultra בתצורה מלאה עולים הרבה יותר מתחנת עבודה רגילה של מפתח, כך שמדובר בתצורה למשתמשים מתקדמים או לצוות. ה-Muse Model License של Meta כולל תנאים מסחריים מוגבלים, ובמחנה המודלים הפתוחים משווים אותו לשחרורים של השבוע תחת Apache 2.0 ו-MIT. ו-36.73 tokens לשנייה הם תפוקה של זרם בודד; הגשה למשתמשים רבים במקביל תיראה אחרת לגמרי.