Thinking Machines משיקה את Inkling 2 Mini: MoE פתוח ב-Apache 2.0 שרץ על לפטופ

Thinking Machines Lab של מירה מוראטי השיקה מודל פתוח שראוי לתשומת לב. Inkling 2 Mini הוא MoE עם 26B פרמטרים, מתוכם כ-3B פעילים. הוא מקבל טקסט ותמונות, מכוונן לשיחה עם שימוש בכלים, ומשוחרר ברישיון Apache 2.0 המתירני.
החלק המעניין הוא הארכיטקטורה. מוראטי מתארת אותו כ-"looped transformer שרץ על לפטופ". לדבריה, "looping מאפשר למודל לחשוב יותר ולכתוב פחות": במקום לפלוט שרשראות ארוכות של reasoning tokens, המודל מריץ שכבות שוב ושוב בתוכו. היא הוסיפה שבגודל הזה "תהליך החשיבה שלו עדיין ניתן לניטור, וייתכן שזה לא יישאר כך". החברה משחררת גם מודל מחקר עם מספר לולאות משתנה כדי לאפשר המשך מחקר. גרסאות quantized ב-NVFP4 וב-MXFP8 שומרות על הורדה של כ-20GB.
התגובות היו חמות. הפוסט ב-r/LocalLLaMA קיבל כ-1,567 upvotes, וגרסה uncensored צצה תוך שעות. מנכ"ל Hugging Face, קלם דלאנג, בירך על כך ש-"open-source AI אמריקאי עוד לא מת", וכינה אותו pareto-frontier למודלי agent פתוחים. זה נוחת מול הטענה של איתן מוליק שההתקדמות במחנה המודלים הפתוחים האטה מאז שנגמרה האפשרות לבצע distillation בקלות ממודלים של OpenAI ו-Anthropic.
ההסתייגות היא מיקוד. מבקרים מזכירים שהחברה הבטיחה מודל קול ווידאו בזמן אמת "בחודשים הקרובים", ומאז השיקה ארבעה מודלים אחרים במקומו. benchmarks עצמאיים ל-agents יראו אם טענת ה-pareto מחזיקה.