Pathway מריצה את ארכיטקטורת BDH בהשראת המוח על SageMaker HyperPod

בשבוע שנשלט על ידי שחרורי מודלים מבוססי transformer שהם בעיקר שיפורים הדרגתיים, AWS בחרה להאיר ב-8 בספטמבר ארכיטקטורה שונה באמת: ה-Baby Dragon Hatchling (BDH) של Pathway, עיצוב 'בהשראת המוח, פוסט-transformer' שמבצע reasoning במרחב לטנטי במקום לפלוט tokens מפורשים של chain-of-thought. הטענה היא ש-reasoning פנימי ורציף יכול להיות יעיל יותר מהמילוליות טוקן-אחר-טוקן שעליה נשענים מודלי ה-reasoning הנוכחיים. Pathway מריצה את BDH בקנה מידה על Amazon SageMaker HyperPod, שירות אימון האשכולות הגדולים המנוהל של AWS, ומדווחת שהווריאנט BDH-CQ שלה קבע שיא חדש של יעילות עלות ב-benchmark של ARC-AGI-1.

ARC-AGI הוא benchmark של reasoning מופשט שתוכנן בכוונה על ידי François Chollet כדי לעמוד בפני שינון ולתגמל הכללה אמיתית, ולכן שיא של יעילות עלות שם — אם הוא יעמוד בבדיקה — הוא אות משמעותי לכך ש-reasoning במרחב לטנטי יכול להיות תחרותי בלי העומס של tokens שמביא איתו chain-of-thought. זה הלב הטכני: chain-of-thought יקר בדיוק כי ה-reasoning קורה בטקסט שנוצר; העברתו למרחב לטנטי יכולה לחתוך את עלות ה-inference משמעותית.

מבחינה אסטרטגית, הסיפור עושה עבודה כפולה עבור AWS: הוא מדגים את SageMaker HyperPod כפלטפורמה למחקר ארכיטקטורות מובילות (לא רק fine-tune), והוא ממקם את AWS בתוך השיחה ההולכת וגוברת סביב 'האם ה-transformer הוא נקודת הסיום?' — אותה שיחה שמזינה גם עבודות כמו מרוץ אורך הקונטקסט של Meta וניסויים פוסט-transformer אחרים. הסייג הכבד הוא שתוצאות ARC-AGI ידועות כרגישות במיוחד לזיהום של סט הבדיקה ולמתודולוגיית ההערכה, ו-benchmark יחיד שמגיע מיוצרי הארכיטקטורה עצמם דורש שחזור עצמאי לפני שמישהו מכריז על transformers כמיושנים. לטענות פוסט-transformer יש היסטוריה ארוכה של אי-הצלחה בקנה מידה. ובכל זאת, בשבוע של תלונות על 'התכנסות יכולות' שבו מודלים חדשים מציגים תוצאות benchmark זהות, גישה שונה ארכיטקטונית היא נקודת נתונים מבורכת. שווה לעקוב אחר שחזור עצמאי של ARC-AGI ואחר השאלה אם BDH יחזיק מעמד במשימות שפה, לא רק בחידות reasoning מופשטות.