NVIDIA, AMD, Intel, Google ו-Meta באותו צד: SGLang Consortium מאחד את ה-inference הפתוח

ל-SGLang, ה-framework ל-serving ול-inference שיצא מ-LMSYS, יש עכשיו גוף תעשייתי רשמי. הקונסורציום הוכרז בכנס SGLang Summit הראשון בסן פרנסיסקו, ושמונת המייסדים שלו מכסים את כל מחנות המאיצים (NVIDIA, AMD, Intel), את בוני המודלים הגדולים (Google, Meta) ואת פלטפורמות ה-inference (Cloudflare, Modal, RadixArk).

בפועל, קונסורציום נותן לחברות התורמות בית ניטרלי לממשל הפרויקט. הן יכולות לממן מתחזקים, לתאם backends לחומרה ולהסכים על מפת דרכים לפיצ'רים כמו speculative decoding, structured output ויצירת rollouts ל-RL. העומס האחרון הולך ונהיה חשוב: באותו שבוע AWS השיקה את SGLang-Neuron כ-Deep Learning Container, שמביא serving ו-rollouts של reinforcement learning ב-SGLang ל-Trainium על PyTorch נייטיב. AWS לא ברשימת המייסדים, אבל ברור שהמנוע הופך לסטנדרט רב-ספקי.

בזירה התחרותית, vLLM היה במשך זמן רב ה-stack הפתוח הסטנדרטי ל-serving, ו-SGLang צבר יתרון ב-throughput ובעומסים מובנים ואגנטיים. הגיבוי של יצרניות שבבים מתחרות מראה שהתעשייה רוצה שכבת serving ניידת ולא תלות בספק, וזה יכול לכרסם בשוליים ביתרונות של פתרונות serving קנייניים, כולל של NVIDIA עצמה. גם הזווית של xAI מעניינת: Elon Musk אמר השבוע ש-xAI החליפה את JAX ואת SGLang ב-stack של C/C++ שנכתב מאפס, הימור הפוך לגמרי.

נשארו שאלות פתוחות. ההשתתפות של NVIDIA סוכמה בזמן הטלטלה סביב ה-CEO שלה, כך שמוצדק לשאול אם הגיבוי ההנהלתי יימשך. פרטי הממשל, הרישוי והמימון של הקונסורציום דלים בסיקור הראשוני. כדאי לעקוב אחרי פרסום אמנה רשמית, האופן שבו יתוחזקו kernels ייעודיים לחומרה, והאם AWS או Microsoft יצטרפו.