'qwen4_exp' צץ ב-Hugging Face: Alibaba מגרה את הקהל עם Qwen 4

הפוסט שפרסם צוות Qwen ב-X ב-6 בנובמבר, 'The becoming begins', צבר 18,480 לייקים ו-1,451 שיתופים. המשקיפים פירשו את האזכור של Kun כרמז לגודל: במשל של ג'ואנג-דזה, Kun הוא דג ענק שהופך לציפור עצומה. עד 9 בנובמבר כבר הופיעו ב-Hugging Face תגיות ארכיטקטורה בשם 'qwen4_exp', וההשערות על שחרור פתוח קרוב רק התחזקו.

הטענות על הגודל מגיעות ממפת הדרכים של Apsara ב-Alibaba, שלפי הדיווחים מכוונת למודלים בגודל 5 עד 10 טריליון פרמטרים. בסדר גודל כזה, Qwen 4 יהיה כמעט בוודאות מודל MoE, עם מספר קטן בהרבה של פרמטרים פעילים. ה-checkpoints הרשמיים ותמחור ה-inference ב-Model Studio צפויים להתפרסם בהמשך.

מבחינה תחרותית יש כאן הרבה על הכף. חברות ה-AI הסיניות שולטות בטבלאות הדירוג של המודלים הפתוחים, אבל השבוע Mistral שחררה כ-open-source את Large 4, מודל של טריליון פרמטרים, ו-Inkling 2 Small של Thinking Machines דורג כמודל הפתוח המערבי הטוב ביותר. שחרור גדול של Qwen 4 יחזיר את סין לראש מחנה המודלים הפתוחים. Alibaba נלחמת גם בחזית העסקית: היא חתמה על עסקת AI מקצה לקצה עם Hisense, ובמקביל, לפי הדיווחים, השותפות שלה עם Apple כספקית ה-AI בסין לא עוברת בצורה חלקה.

הסתייגויות: הסיקור מדגיש שתאריך השחרור וה-checkpoints עדיין לא אומתו. כבר ראינו בעבר גלי הייפ שנבנו על טיזרים ורצו לפני העובדות, אז כדאי להתייחס למספרי הפרמטרים כיעדים, לא כמפרט.