Thinking Machines משחררת את Inkling — MoE פתוח של 975 מיליארד פרמטרים

Thinking Machines Lab, שהוקמה בידי Mira Murati, לשעבר CTO של OpenAI, השיקה את המודל הראשון שלה: Inkling, מודל mixture-of-experts (MoE) בארכיטקטורת transformer עם 975 מיליארד פרמטרים, שמפעיל 41 מיליארד פרמטרים לכל token. לפי Wired, הוא עבר pretraining על 45 טריליון tokens שכוללים טקסט, תמונות, אודיו ווידאו, ומציע חלון הקשר של מיליון tokens — שחרור מודל פתוח בקנה מידה מוביל באמת, מולטימודלי מטבעו, מחברה שפעלה עד כה במצב היחבאות.

ההחלטה לשחרר מודל פתוח היא הבחירה האסטרטגית המרכזית. היא מיישרת את Thinking Machines עם מחנה המודלים הפתוחים שנמצא בזינוק — Clement Delangue מ-Hugging Face טען השבוע ש'המרוץ האמיתי של ה-AI אולי כבר לא נמצא בחזית המובילה' אלא במודלים פתוחים ומתמחים, וציין שרפו חדש נוצר בפלטפורמה כל שבע שניות. שחרור מודל פתוח מצד Murati מאותת על שבירה פילוסופית מהגישה הסגורה של מעסיקהּ לשעבר; Forbes הציג את הכיוון שלה כקרוב יותר לשיטת המודלים הפתוחים של סין.

MoE של 975B סה"כ / 41B פעילים הוא הימור על יכולת לכל דולר inference, שמתחרה במודלים הפתוחים של DeepSeek, בקו Llama של Meta ו-Qwen של Alibaba. ה-pretraining המולטימודלי וחלון ההקשר של מיליון tokens ממקמים אותו נומינלית באותה שיחה עם המודלים הסגורים המובילים, אף שה-benchmarks העצמאיים הם המבחן האמיתי. HN רעש חזק (742 נקודות) סביב השחרור.

הסתייגויות: ספירת פרמטרים כוללת ותקציבי tokens אינם מבטיחים איכות, והרצת MoE של 975B דורשת תשתית רצינית גם עם הפעלה דלילה. הספקנים ירצו לראות evals של צד שלישי ונתוני עלות deployment אמיתיים לפני שיכריזו ש-Inkling תחרותי. מה כדאי לעקוב אחריו: תוצאות benchmark, תנאי הרישיון, והאם Thinking Machines תצליח להפוך מודל ראשון מרשים לעסק בר-קיימא.