Liquid AI השיקה את LFM2.5-24B-A2B: מודל sparse עם 2B פעילים ל-agents על המכשיר

Liquid AI השיקה מודל חדש שדוחף את גישת ה-MoE הדלילה לכיוון טלפונים ומחשבים ניידים. ל-LFM2.5-24B-A2B יש 24 מיליארד פרמטרים בסך הכול, אבל רק כ-2 מיליארד פעילים לכל token. בפועל מקבלים את היקף הידע של מודל בינוני בעלות מחשוב של מודל קטן. החברה פרסמה את המודל בבלוג של Hugging Face, והיא מכוונת לעומסי agents כמו tool calling, ניתוב ומשימות מרובות שלבים, שצריכים לרוץ מקומית בגלל פרטיות או latency.

בתכנון "A2B" צוואר הבקבוק הוא זיכרון, לא מחשוב. כל 24 מיליארד הפרמטרים צריכים להיכנס ל-RAM, אבל כל forward pass זול, כך שאחרי שהמודל נטען אפשר לקבל throughput גבוה גם על חומרה ביתית. Liquid בנתה את המותג שלה על ארכיטקטורות שונות מה-transformer הסטנדרטי, שמותאמות ליעילות ב-edge.

המודל נכנס לשבוע עמוס ב-edge AI: DeepMind וסינגפור השיקו גלאי הונאות מבוסס Gemma שרץ על המכשיר, NVIDIA הוציאה את Nemotron 3.5 Lightning, מודל MoE פתוח עם 30B פרמטרים ו-3B פעילים, llama.cpp קיבלה אפליקציה ל-Windows, ו-EmbeddingGemma 2 הוסב ל-speech-to-text. מודלים עם מעט פרמטרים פעילים הופכים לתכנון ברירת המחדל ל-agents פרטיים. כדאי לחכות ל-benchmarks עצמאיים מול Nemotron 3.5 Lightning ומודלי ה-MoE הקטנים של Qwen, ולבדוק את תנאי הרישיון שיקבעו אם אפשר להשתמש בו מסחרית על המכשיר.