CUDA 13.4 מביאה שיתוף GPU עם אכיפת זיכרון ל-Kubernetes

נקודת התורפה של שיתוף GPU תמיד הייתה הזיכרון. Time-slicing ו-MPS אפשרו לכמה עומסי עבודה לחלוק את כוח המחשוב, אבל job אחד עדיין יכול היה לתפוס יותר מדי זיכרון, לקרוס או להשאיר את השכנים שלו בלי משאבים. ב-CUDA 13.4 הוסיפה NVIDIA מגבלות זיכרון נאכפות לכל workload, כך שצוותי פלטפורמה יכולים לדחוס כמה pods של Kubernetes על אותו GPU ולדעת בדיוק כמה זיכרון כל אחד מהם יקבל.

בבלוג של NVIDIA הפיצ'ר מכוון למהנדסי פלטפורמה שמנהלים צי AI מעורב: שירותי inference, מחברות, jobs של embedding ו-fine-tune קטנים, שכל אחד מהם צריך רק חלק מכרטיס מסדרת H או Blackwell. כשהאכיפה יושבת בשכבת CUDA, ה-scheduler יכול לקבל החלטות bin-packing בביטחון, במקום להקצות ביתר רק כדי להימנע משרשרת של שגיאות out-of-memory.

היכולת משלימה את Multi-Instance GPU (MIG), שמספק חלוקה קשיחה ברמת החומרה אבל רק בגדלים קבועים. שיתוף עם אכיפת זיכרון גמיש יותר, אם כי הבידוד הוא ברמת התוכנה בלבד. העדכון הגיע באותו יום שבו AWS הוסיפה שיתוף GPU מבוסס MPS ל-ECS, ויחד שני המהלכים מרמזים ש-GPU חלקי הופך לברירת המחדל ל-inference ולא לטריק אופטימיזציה. מה לעקוב אחריו: האינטגרציה ל-GPU Operator ול-device plugin של NVIDIA, האופן שבו EKS, GKE ו-AKS יחשפו את הפיצ'ר, ו-benchmarks אמיתיים על jitter בזמני תגובה כשכמה לקוחות חולקים כרטיס.