ZML משיקה שרת inference חינמי חוצה-שבבים — בגיבוי מייסדי Hugging Face

שרת ה-inference החינמי של ZML, בשם ZML/LLMD, מכוון לאחת הבעיות הדביקות ביותר בתשתית AI: תלות בספק חומרה. הוא מריץ LLM פתוחים ביעילות לרוחב NVIDIA, AMD, Google TPU, Apple Metal ו-Intel Arc, ומאפשר לצוותים לבחור חומרה לפי מחיר וזמינות במקום להיות כבולים ל-CUDA. Hugging Face משמש כשכבת האחסון למודלים, ורשימת התומכים בולטת — מייסדי HF קלמאן דלאנג' וז'וליאן שומון, סולומון הייקס מ-Docker, ויאן לקון מ-Meta.

מבחינה מכניקה, inference חוצה-שבבים דורש הפשטה של kernels ומודלי זיכרון ספציפיים לספק — הנדסה קשה שהדומיננטיות של CUDA הרתיעה ממנה היסטורית. אם ZML יספק תפוקה תחרותית על סיליקון שאינו של NVIDIA, הוא מכרסם בחפיר ששומר על תמחור NVIDIA גבוה. דלאנג' מיסגר זאת כהוכחה ש'אנחנו עדיין רק מגרדים את פני השטח של כמה טוב, מהר וזול יותר נוכל להפוך את ה-inference עבור מודלים פתוחים'.

תחרותית, זה משתלב בנושא העלות וההפשטה של השבוע — Rauch מ-Vercel שדוחף ניתוב מודלים, קיצוץ העלויות של Microsoft ב-MAI, וטענות העלות של NVIDIA עצמה סביב Nemotron — ומאמת שכבת ניידות שמפחיתה תלות בספק שבב יחיד (אירוני לאור שיתוף הפעולה המקביל של NVIDIA עם Hugging Face סביב LeRobot). הספקנים ירצו מספרי תפוקה עצמאיים על AMD ו-TPU מול NVIDIA לפני שיאמינו שהתלות נשברה. שווה לעקוב אחרי האימוץ, והאם ספקי ענן ישלבו את זה.