SageMaker AI פותחת את לולאת ה-post-training: APIs לאימון מותאם על GPU ב-serverless

עד היום, שירותי fine-tune מסוג serverless הציעו בעיקר מתכונים קבועים כמו supervised fine-tuning או DPO, עם כמה פרמטרים מוגדרים מראש. ה-training sessions של SageMaker פותחים את זה. המפתחים כותבים את לולאת האימון בעצמם ב-Python, עם פונקציות loss כרצונם, מודלי reward או reinforcement learning מרובה סבבים, ו-AWS מנהלת מתחת את צי ה-GPU.

עבודת התשתית ש-AWS לוקחת על עצמה משמעותית: הקצאת מאיצים, חלוקה בין nodes, התאוששות מכשלים ושמירת checkpoint. AWS מדגימה את ה-APIs עם לולאת GRPO על ה-benchmark המתמטי GSM8K ועם עומס RL על בעיות תכנות תחרותי, שתי הדוגמאות הקלאסיות של גל ה-post-training בשנה האחרונה.

השירות מתחרה ב-APIs מנוהלים לאימון בסגנון Tinker ובשירותי fine-tune של Together ו-Fireworks, ומתחבר למגמות מחקר שבלטו השבוע ב-Hugging Face. ThinkingBox של Microsoft, למשל, הופך ציונים ממסדי נתונים לאותות reward ל-RL באימון agents. ההבטחה לארגונים: אפשר לבנות agents מותאמים לתחום עם RL בלי לגייס צוות שמתפעל קלאסטרים.

על מה לשים עין: תמחור לפי session מול קיבולת שמורה, אילו מודלי בסיס נתמכים, ומגבלות על אורך session. לפי הדיווחים, Samsung כבר מכרה את כל קיבולת ה-HBM שלה ל-2027 ומחירי ה-GPU צפויים לעלות. במצב כזה, גישת serverless שחוסכת הזמנות ארוכות עשויה להפוך לאטרקטיבית יותר, בתנאי ש-AWS תוכל להבטיח קיבולת.