SageMaker HyperPod של Amazon מוסיפה תמיכה מנוהלת ב-Ray על EKS
AWS הוסיפה תמיכה מנוהלת ב-Ray ל-SageMaker HyperPod הרץ על Amazon EKS, ומביאה observability מובנה, אימון עמיד ו-inference מואץ לעומסי AI מבוזרים. משתמשים יכולים ליצור ולנטר קלאסטרים של Ray, לחבר notebooks של JupyterLab ו-Code Editor, ולהריץ jobs מבוזרים ישירות מ-SageMaker Studio באמצעות KubeRay ה-open-source וממשקי Ray API סטנדרטיים.
Ray הפך ל-framework open-source פופולרי להרחבת עומסי Python ו-AI על פני קלאסטרים, והתמיכה המנוהלת מסירה חלק ניכר מהנטל התפעולי של הרצתו באופן אמין בקנה מידה. יכולת ה'אימון העמיד' רלוונטית במיוחד לנוכח העלות הגבוהה של הפרעות באימון — האזהרה של Micron ב-Hot Chips, לפיה בעיות HBM גרמו ל-17% מהפרעות האימון של Llama 3 של Meta, ממחישה מדוע עמידות בפני תקלות חשובה בקנה מידה מוביל.
על ידי פגישה עם המפתחים במקום שבו הם כבר נמצאים — ממשקי Ray ו-KubeRay ה-open-source ולא framework קנייני — AWS מורידה את עלות המעבר עבור צוותים שמתקננים על Ray. זה מחזק את SageMaker HyperPod כתשובה של AWS לתזמור אימון ו-inference בקנה מידה גדול, בתחרות מול תשתיות ה-ML המנוהלות של Google Cloud ו-Microsoft.
ההשקה היא חוט אחד בשבוע צפוף של הכרזות תשתית AI מצד AWS, ומסמנת אסטרטגיה של בעלות על כל ה-stack מגישה לסיליקון, דרך תזמור, ועד כלי agentic. כדאי לעקוב אחרי האימוץ בקרב צוותים שמריצים עומסים מבוזרים גדולים, כיצד יכולות האימון העמיד יתפקדו מול תקלות חומרה אמיתיות, והאם Ray מנוהל יצמצם באופן משמעותי את התקורה התפעולית שהגבילה את אימוץ Ray בחלק מהארגונים.
