DeepSeek פותחת את DeepInfer, ה-stack הפנימי שלה ל-inference, כ-open-source

DeepInfer חושף את טכניקות ה-serving שעומדות מאחורי המחירים הנמוכים מאוד של DeepSeek. אנליסטים מעריכים שה-stack הזה הוא סיבה מרכזית לכך ש-DeepSeek מצליחה לשמור על מרווחים גבוהים, למרות תמחור אגרסיבי לכל token.

מפתחים כבר מריצים benchmark מול vLLM ו-SGLang, ורבים מתלהבים מהאפשרות להריץ מודלים של DeepSeek בעצמם ובזול יותר.

אם הטענות יחזיקו מים, השחרור ילחץ על סטארטאפים לאירוח inference ועלול להוריד את המחיר לכל token בכל שוק המודלים הפתוחים.

יש כאן הסתייגות: סביר שה-stack מכוונן לארכיטקטורות ולחומרה של DeepSeek עצמה, כך שהשיפורים לא בהכרח יעברו למודלים אחרים.