SageMaker Inference מוסיף חלוקת GPU עם Multi-Instance GPU של NVIDIA

AWS הוסיפה תמיכה ב-NVIDIA Multi-Instance GPU ל-endpoints של SageMaker Inference. MIG מפצל GPU יחיד למחיצות מבודדות, לכל אחת כוח מחשוב, זיכרון ו-cache משלה, כך שעומסי עבודה לא מפריעים זה לזה. SageMaker חושפת את היכולת דרך שני שדות API אופציונליים, שממקמים מודל אחד בכל מחיצה.

המטרה היא איחוד. הרבה מודלים בפרודקשן – classifiers, מודלי embedding ו-LLM קטנים – לא מסוגלים לנצל GPU מודרני מלא לבד. עם MIG צוות יכול להריץ כמה מהם על GPU פיזי אחד עם בידוד ברמת החומרה, או לתת למודל קטן פרוסה של מאיץ חדש במקום לשכור GPU ישן שלם. AWS פרסמה benchmarks שמשווים מחיצה של GPU חדש מול כרטיס ישן שלם, וטוענת שהפרוסה מנצחת גם בעלות וגם בביצועים.

זו עוד השקה של התייעלות בשבוע שכולו משמעת בהוצאות AI: קיצוצי התקציב הפנימיים ב-Apple, תגיות העלות של Anthropic והפריסה של עמלות GPU Capacity Block בדוחות החיוב של AWS עצמה. חלוקת GPU קיימת כבר מזמן ב-Kubernetes דרך ה-operators של NVIDIA; התרומה של SageMaker היא להפוך אותה לשירות מנוהל.

הסתייגויות:

- מחיצות MIG הן פרופילים קבועים, כך שתעבורה עם קפיצות חדות לא תמיד תתאים.

- התמיכה ב-MIG תלויה בדור ה-GPU.

- ה-benchmarks הם של AWS עצמה; כדאי לבדוק מול המודלים שלכם.