AWS Lambda מוסיפה מצב צריכת תורים ל-Kafka עם Share Groups

Lambda יכולה עכשיו לצרוך topics של Kafka כתורים, באמצעות Kafka Share Groups. היכולת עובדת עם קלאסטרים בניהול עצמי בגרסה 4.2 ומעלה, ועם שירותים מנוהלים כמו Confluent Cloud.

בצריכה הקלאסית של Kafka, רמת המקביליות מוגבלת למספר ה-partitions, ורשומה איטית אחת תוקעת את כל ה-partition שלה. עם Share Groups, כמה צרכנים מושכים רשומות מאותם partitions, כל רשומה מאושרת בנפרד, יש לה visibility timeout והיא נשלחת שוב אוטומטית במקרה של כישלון. בגדול, סמנטיקה בסגנון SQS מעל Kafka.

זה רלוונטי במיוחד ל-workloads של AI ו-agents, שבהם זמן העיבוד של כל הודעה משתנה מאוד, למשל קריאה ל-LLM על כל אירוע. אפשר להגדיל את ה-concurrency של Lambda בלי לחלק מחדש את ה-topics, והפער בין Kafka ל-SQS מצטמצם לצוותים שרוצים עמוד שדרה אחד לאירועים. ההסתייגות: צריך Kafka 4.2 ומעלה, ובמצב תור אין יותר הבטחת סדר בתוך partition. לפני המעבר, כדאי לבדוק אם ה-workloads שלכם תלויים בסדר.