SageMaker HyperPod מפריד prefill ו-decode — הגשת LLM מהירה יותר

חברת AWS הוסיפה ל-SageMaker HyperPod יכולת בשם Disaggregated Prefill and Decode (DPD) — אופטימיזציה של ארכיטקטורת ה-serving עבור inference של LLM בסביבת production. הטכניקה מפרידה בין שני השלבים החישוביים השונים של inference: שלב ה-prefill (עיבוד ה-prompt הנכנס, שלב שכבול ליכולת חישוב) לבין שלב ה-decode (יצירת token אחד בכל פעם, שלב שכבול לרוחב הפס של הזיכרון). כל שלב מקבל pool ייעודי של GPU-ים שממוטב בדיוק למאפיינים שלו.

הפרט ההנדסי המרכזי הוא האופן שבו ה-KV cache עובר בין ה-pools: ההעברה מתבצעת דרך ה-Elastic Fabric Adapter (EFA) של AWS באמצעות GPU-Direct RDMA, מה שממזער את עלות ה-latency של המעבר. במקום להריץ את שני השלבים על אותם GPU-ים בלתי-מובחנים, DPD מתאים את החומרה לכל שלב בנפרד ובכך משפר את ה-throughput ואת יעילות העלות בעומסי chat ו-agent בנפחים גבוהים, שבהם הדרישות של prefill ו-decode משתנות מאוד.

Disaggregated serving הפך לתבנית תשתית בולטת בכל התעשייה — גם vLLM, TensorRT-LLM ואחרים פיתחו וריאציות משלהם — מה שמשקף כמה מהכלכלה של ה-AI המוביל חי היום באופטימיזציית inference ולא באימון. ה-benchmark של r/LocalLLaMA השבוע, שבחן 13 מודלים ב-context של 65K-128K (303 לייקים), מראה כמה אכפת למפתחים מביצועי serving של context ארוך — בדיוק מה ש-DPD מכוון אליו. זה חלק מדחיפה רחבה יותר של AWS בתחום ה-serving ביולי, לצד הכרזות אחות כמו multi-turn RL ב-HyperPod ו-MiniMax על Bedrock. מה כדאי לעקוב אחריו: benchmark-ים מפורסמים של throughput ועלות מול serving משולב, והאם AWS תרחיב את היכולת למשפחות מודלים נוספות ולתבניות עומס של agent.