DeepMind חשפה את Decoupled DiLoCo: 88% goodput גם בשיעורי כשל גבוהים

Google DeepMind חשפה את Decoupled DiLoCo, ארכיטקטורת training מבוזרת א-סינכרונית ששומרת על 88% goodput גם בשיעורי כשל חומרה מוגברים. הפתרון מטפל בשבריריות של עדכוני gradient סינכרוניים בסקאלה של מאות מיליארדי פרמטרים.