Bolmo של Ai2 ב-Nature: מודל ברמת byte, ו-checkpoints חדשים ב-Hugging Face

Ai2 הודיעה שהמחקר שלה על מידול שפה ברמת הבייט, שעומד מאחורי משפחת המודלים הפתוחים לגמרי Bolmo, פורסם ב-Nature. זו במה נדירה למחקר על ארכיטקטורת LLMs. יחד עם הפרסום, Ai2 משחררת ב-Hugging Face checkpoints חדשים שמיישמים את הטכניקה גם על מודלים שאינם מבוססים על Olmo שלה.

LLMs רגילים קוראים טקסט דרך tokenizer, שמפרק את הקלט לחלקי מילים. זה יוצר בעיות מוכרות: טיפול חלש בשפות נדירות, בשגיאות כתיב, במספרים ובמשימות ברמת התו, וגם שבירוּת כשהטקסט לא דומה לנתונים שעליהם ה-tokenizer אומן. התרומה של Bolmo היא הסבה של מודל קיים. במקום לאמן מודל ברמת הבייט מאפס, תהליך יקר, Ai2 ממירה מודל קיים שעובד עם tokens כך שיעבוד ישירות על בייטים. רוב היכולות שהמודל למד נשמרות, וה-tokenizer יוצא מהתמונה.

מבחינה תחרותית, מידול ברמת הבייט וללא tokenizer הוא כיוון מחקר פעיל, כולל ה-Byte Latent Transformer של Meta ומודלים שונים ברמת התו. מה שמייחד את Ai2 הוא פתיחות מלאה (נתונים, קוד ומודל) ועכשיו גם אישור בביקורת עמיתים. בשבוע שנשלט על ידי השקות של מודלים בגודל טריליון פרמטרים ומלחמות מחירים, זו תזכורת שמחקר ארכיטקטורה עדיין מקדם את התחום, במיוחד עבור משתמשים רב-לשוניים ועבור שפות שה-tokenizers מתמודדים איתן רע, ועברית ביניהן.

מה לבדוק בהמשך: האם ההמרה לרמת הבייט מחזיקה מבחינת יעילות, כי בייטים פירושם רצפים ארוכים יותר ויותר מחשוב לכל תו. ועוד שאלה: האם אחת מחברות ה-AI המובילות תאמץ את שיטת ההסבה למודלים שהיא מריצה בפרודקשן.