ByteDance Seed משחררת את Cola DLM: מודל diffusion לא-אוטורגרסיבי של 2B פרמטרים

מבחינה ארכיטקטונית, Cola DLM הוא יצור חריג. במקום לחזות token אחד בכל פעם בהתבסס על ה-tokens שקדמו לו (המתכון האוטו-רגרסיבי שמאחורי כמעט כל LLM בפרודקשן), Cola מתכנן קטע טקסט שלם במרחב latent רציף באמצעות תהליך diffusion, ואז פולט את ה-tokens בשלב decode יחיד. הטענה היא generation מהיר משמעותית וקוהרנטיות טובה יותר בטקסטים ארוכים, מפני שהמודל מתחייב לתוכנית ברמת הקטע עוד לפני שהוא מממש את הטקסט עצמו.

הסקייל של 2B שומר עליו נחרצות בטריטוריית הפרוטוטייפ המחקרי — אף אחד לא הולך להעמיד את Cola מול GPT-5 — אבל זהו ה-LLM הלא-אוטו-רגרסיבי הראשון שמשוחרר באופן פתוח עם מתכון וקוד שעובדים. עבור חוקרי HF ו-local-LLM, זו דווקא העובדה החשובה יותר: אלטרנטיבה ניתנת לשחזור למונוקולטורה האוטו-רגרסיבית, עם weights זמינים ל-fine-tune.

במקומות אחרים ב-Hugging Face השבוע, מעבדת Tencent ARC Lab שחררה את Pixal3D (11 במאי), מודל שמייצר נכסי 3D באיכות גבוהה מתמונה בודדת באמצעות pixel-feature back-projection, יחד עם קוד אימון, ערכת כלי data וגרסה משופרת מבוססת Trellis.2. ביחד, Cola ו-Pixal3D מרמזים שאקוסיסטם המחקר הסיני של ה-AI משתמש ב-HF באגרסיביות כערוץ הפצה לשחרורים פתוחים ומובחנים ארכיטקטונית — בדיוק כשהשכבה החזיתית של Qwen מבית Alibaba עוברת ל-API בתשלום.