Amazon S3 Tables: מיגרציה מנוהלת מ-Hive ל-Iceberg בלי pipelines

מעבר מ-Hive ל-Iceberg הוא פרויקט מודרניזציה נפוץ ב-data lakes, וגם כואב במיוחד. בדרך כלל צוותים נאלצו לכתוב jobs ב-Spark, לנהל את המעבר בעצמם ולקחת סיכון של השבתה. עכשיו AWS מבצעת את ההגירה כפעולה מנוהלת בתוך S3 Tables, בזמן שהקריאות והכתיבות ממשיכות כרגיל, ודואגת שהטבלאות יישארו אופטימליות ככל שהנתונים גדלים.

הקשר ל-AI ברור: agents ומערכות אנליטיקה צריכים יותר ויותר נתונים עקביים עם ניהול גרסאות. time travel והבטחות ACID מקלים לשמור על feature sets שאפשר לשחזר ועל נתוני אימון שאפשר לבקר.

באותו יום AWS פרסמה גם שורה ארוכה של תכנים על agents. היא הציגה את AgentCore Evaluations עם בדיקות מבוססות קוד למודלי החלטה, ואת Smart Approvals ב-Amazon Quick, שמשאיר אדם בלולאה כשה-agent מבצע פעולות משמעותיות. בין סיפורי הלקוחות: U Mobile, שהורידה את כמות קריאות השירות בעד 84.5% בעזרת תפעול טלקום אגנטי על AgentCore, ו-framework של context engineering בארבע שכבות שנבנה לתוך פרויקט ה-open-source Deep Insight. AWS גם חשפה בתצוגה מקדימה את Interconnect - last mile יחד עם Equinix, ב-282 מרכזי נתונים.

ברקע התחרותי, שוק ה-lakehouse מתכנס סביב Iceberg: Snowflake, Databricks ו-Google BigQuery כולן תומכות בו.