Apache Spark 4.0 זמין לכלל על Amazon EMR

AWS הפכה את Apache Spark 4.0 לזמין לכלל הציבור (GA) ברחבי שורת ה-EMR המלאה — EMR Serverless, EMR on EC2 ו-EMR on EKS. בין היכולות המרכזיות: Spark Connect (ארכיטקטורת client-server מנותקת שמאפשרת פיתוח PySpark אינטראקטיבי מכל מקום), טיפוס הנתונים החדש Variant לנתונים חצי-מובנים, SQL scripting, שיפורים ב-Python API ושיפורי streaming.

כהשלמה ל-GA, Amazon SageMaker Unified Studio Notebooks תומך כעת ב-EMR Serverless עם Spark Connect, ומעניק למהנדסי ואנליסטי נתונים את הגמישות לבחור את runtime ה-Spark האופטימלי לאנליטיקה אינטראקטיבית ולהנדסת נתונים. AWS גם הציגה מסלול מיגרציה agentic: ה-AWS Spark Upgrade Agent מאמת באופן איטרטיבי אפליקציות שעוברות מ-Spark 3.5 ל-4.0 ב-EMR Serverless, ומאבחן אוטומטית כשלים מתוך לוגים של CloudWatch עד שה-jobs מצליחים.

אף שזה פחות נוצץ מהשקות של מודלים מובילים, ה-GA של Spark 4.0 חשוב מפני שצינורות נתונים הם התשתית של AI ארגוני — feature engineering, הכנת נתוני אימון ואנליטיקה רצים כולם על Spark בקנה מידה. כלי השדרוג מבוסס ה-agent הוא בעצמו סימן לחלחול תמת ה-agentic לתוך תפעול תשתית, שבו agents של AI מטפלים כעת בעבודה השחורה של מיגרציה. זה משתלב בשבוע עשיר בשחרורים agentic של AWS (Strands Agents + Bedrock AgentCore לקליטת FNOL בביטוח, agent לתעדוף תקלות עם Amazon Quick ו-New Relic, RL לרובוטים ב-Isaac Lab על SageMaker, ודיגיטציה של רשומות רפואיות עם Bedrock Data Automation ו-HealthLake) — שיחד מדגישים את האסטרטגיה של AWS להטמיע agents לרוחב ה-stack של הנתונים והתפעול, במקום להתחרות חזיתית בשכבת המודלים המובילים.