מכונות Amazon EC2 P6-B300 עם GPU של NVIDIA Blackwell Ultra מתרחבות לאזורים חדשים

AWS הרחיבה ב-28 באוגוסט את הזמינות של מכונות ה-EC2 P6-B300 שלה לאזורי Asia Pacific (Hyderabad) ו-South America (Sao Paulo), והרחיבה בכך את הגישה האזורית לכוח מחשוב מבוסס NVIDIA Blackwell Ultra למשימות training ו-inference תובעניות. כל מכונת P6-B300 אורזת 8 מעבדי NVIDIA Blackwell Ultra GPU עם 2.1TB של זיכרון GPU בפס רחב, רשת Elastic Fabric Adapter (EFA) של 6.4Tbps ו-4TB של זיכרון מערכת.

השיפורים בין הדורות מוחשיים: פי 2 רוחב-פס רשת ופי 1.5 זיכרון GPU לעומת הדור הקודם. ב-training של מודלים גדולים וב-inference בתפוקה גבוהה, קיבולת הזיכרון ורוחב-הפס של החיבור הפנימי הם לרוב הצוואר-בקבוק האמיתי — זיכרון GPU גדול יותר מפחית את עלות ה-sharding ומאפשר להכניס חלונות context גדולים יותר ו-batch גדול יותר על המעבד עצמו, בעוד שרשת EFA מהירה יותר משפרת את יעילות ה-scaling על פני clusters רב-צמתיים.

ההרחבה האזורית להודו וברזיל חשובה מטעמי data-residency ו-latency. לקוחות בשווקים האלה יכולים כעת לבצע training ולהגיש workloads ברמת המודלים המובילים באופן מקומי, במקום לנתב אותם לאזורים בארה"ב או באירופה — רלוונטי לארגונים וממשלות שרגישים לריבונות, נושא שהדהד גם בעסקאות ה-sovereign-AI של Mistral השבוע.

ההשקה היא חלק מזינוק הקיבולת הרחב של AWS-NVIDIA (ההרחבה של 2 מיליון GPU) ומהבנייה התעשייתית הכוללת של כוח מחשוב. מבחינה תחרותית, זה שומר על צי ה-GPU של AWS עדכני מול Azure ו-Google Cloud, ומול שבבי ה-Trainium של AWS עצמה, אותם היא דוחפת במקביל (הקצאת ה-Trainium של OpenAI בהיקף ~2GW). כדאי לעקוב אחר התמחור ומגבלות הזמינות — קיבולת Blackwell Ultra עדיין מוגבלת באספקה בכל התעשייה — ואם אזורים נוספים יצטרפו כש-AWS מתמודדת עם הביקוש של חברות ה-AI המובילות.