DeepSeek פותחת את המנוע: DeepInfer, ה-inference שמאחורי הפרודקשן, עכשיו open-source

DeepSeek פרסמה את DeepInfer, ה-inference stack הפנימי שמריץ את ה-API והאפליקציות של החברה עצמה. לצדו היא שחררה את deepseek-recipe, שכבת הפרוטוקול שממירה בקשות API לקלט למודל ומפרקת את הפלט שלו בחזרה. ביחד, שני הרכיבים חושפים גם את שכבת הרצת המודל וגם את שכבת הטיפול בפרוטוקול, שתי שכבות שמי שהריץ את DeepSeek על התשתית שלו נאלץ עד היום לפענח לבד.

חשוב להבין מה אין כאן: זו לא פלטפורמת serving מלאה. כפי שמציין ניתוח ב-dev.to, צוותים עדיין יצטרכו routing, autoscaling ו-observability משלהם. מה ש-DeepInfer נותן זה המנוע עצמו, מכוון לארכיטקטורות ה-MoE של DeepSeek. אנליסטים שמצוטטים ב-Interconnects מעריכים שבזכות ה-stack הזה DeepSeek מגיעה לשולי רווח גולמיים של עד 90% על מכירת tokens. זה גם מסביר איך התמחור של ה-API שלה ממשיך להיות זול יותר מזה של המתחרות המערביות.

ההשוואה המתבקשת היא ל-vLLM ול-SGLang, המנועים הפתוחים שרוב הצוותים משתמשים בהם היום כדי להריץ מודלים של DeepSeek. בקהילה מתווכחים אם ה-kernels של DeepInfer מהירים מהם על מודלים בסדר הגודל של V4.1, ואם הוא יהפוך לדרך הסטנדרטית להריץ DeepSeek בבית. השחרור הגיע ימים ספורים אחרי ש-DeepSeek השיקה את V4.1-Flash-1017 תחת רישיון MIT.

התזמון מביך. באותו שבוע הורה DHS לסוכנויות הפדרליות האזרחיות בארה״ב להסיר טכנולוגיה של DeepSeek, כולל כלים שנבנו עליה. פתיחת שכבת ה-serving מקלה על המגזר הפרטי לאמץ את DeepSeek, בדיוק כשהשימוש הממשלתי בארה״ב נחסם. כדאי לעקוב אחרי benchmarks עצמאיים של throughput מול vLLM ו-SGLang, ולבדוק כמה מה-stack באמת אפשר להעביר למודלים שאינם של DeepSeek.