Amazon ECS מאפשרת שיתוף GPU עם NVIDIA Multi-Process Service

GPU חלקי הפך לאפשרות מלאה ב-Amazon ECS. בעזרת Multi-Process Service של NVIDIA, כמה משימות ECS יכולות לחלוק GPU אחד בו-זמנית, במקום שכל משימה תתפוס מכשיר שלם ותשאיר את רובו בטל.

MPS מעביר את עבודת ה-CUDA מכמה תהליכים דרך שרת משותף, כך שקרנלים ממשימות שונות רצים על ה-GPU במקביל ולא בחלוקת זמן. זה מתאים לעומסים שצריכים רק חלק מ-GPU: inference למודלים קטנים, יצירת embeddings, וסימולציות לרכב אוטונומי ו-ADAS — שלושת מקרי השימוש ש-AWS מדגישה. הטיעון הכלכלי הוא ניצולת: GPU שרץ ב-20% עבור משימה אחת שווה הרבה יותר כשארבע משימות חולקות אותו.

המהלך משתלב במגמה רחבה יותר השבוע. NVIDIA פרסמה פרטים על שיתוף GPU עם אכיפת זיכרון ב-Kubernetes עם CUDA 13.4, ושני המהלכים מצביעים על ציי inference שנשלטים בידי מודלים קטנים, שבהם הקצאת GPU שלם היא בזבוז כסף. למשתמשי Kubernetes יש כבר זמן מה אפשרויות של MIG ו-time-slicing; לקוחות ECS פיגרו עד עכשיו.

הסתייגויות: MPS מספק היסטורית בידוד חלש יותר מ-MIG, כך שמשימה בעייתית יכולה לפגוע בשכנות שלה, ותחרות על זיכרון היא סיכון אמיתי. זה בדיוק מה ש-CUDA 13.4 פותר בצד של Kubernetes. כדאי לעקוב האם ECS תוסיף מגבלות זיכרון לכל משימה ואיך תשתנה הנחיית התמחור למופעים משותפים.