SageMaker AI מוסיפה חלוקת GPU של NVIDIA MIG ל-endpoints בזמן אמת

Amazon SageMaker AI תומך עכשיו ב-endpoints בזמן אמת עם חלוקת NVIDIA Multi-Instance GPU (MIG). אפשר לחלק GPU יחיד לעד שבע מחיצות מבודדות, ולכל אחת נתח זיכרון וכוח מחשוב משלה.

MIG הוא פיצ׳ר חומרה, לא חלוקת זמן בתוכנה, כך שכל מחיצה מקבלת משאבים מובטחים ובידוד תקלות. זה הופך את ההרצה של כמה מודלים זה לצד זה למעשית, בלי שעומס רועש אחד ירעיב את האחרים. השימוש המתבקש הוא אירוח של הרבה גרסאות fine-tune, או מודלים קטנים ובינוניים שאחרת כל אחד מהם היה מבזבז את רוב ה-GPU.

הפיצ׳ר משתלב במגמה רחבה של התייעלות בעלויות. AWS פרסמה השבוע גם מדריך FinOps בחמישה שלבים לעלויות Bedrock, ובקהילה מדברים על פער של פי 17 במחירי פלט בין מודלים, מה שדוחף צוותים להתאים את ה-inference לגודל הנכון. המחסור ב-GPU הופך כל מודל נוסף שנכנס על אותו מאיץ לחיסכון ישיר.

הסתייגויות: מחיצות MIG הן בגדלים קבועים, כך שעומסים לא אחידים במיוחד עדיין עלולים לבזבז קיבולת, והחלוקה עובדת רק על דורות GPU נתמכים. כדאי להריץ benchmark ל-latency בכל מחיצה לפני שמעבירים endpoints של פרודקשן.