מאחורי הקלעים של ChatGPT: Habitat מגיש קריאות מהירות פי 12 ליותר ממיליארד משתמשים

בלוג ההנדסה של OpenAI פרסם את החלק השני בסדרה על הגדלת Habitat, מערכת האחסון האונליין שעומדת מאחורי ChatGPT ומשרתת היום יותר ממיליארד משתמשים. התוצאה המרכזית: קריאות מהירות פי 12, אחרי עבודה מחדש על multi-tenancy, הוספת caching גלובלי ובנייה על Azure Cosmos DB.

הפוסט עוסק בשלוש שכבות. הראשונה היא multi-tenancy אמין, כך שקפיצה בעומס של workload אחד לא תחנוק את האחרים — קריטי כשפיצ'רים של ChatGPT, זיכרון, היסטוריית שיחות ו-state של agents חולקים את אותה תשתית. השנייה היא caching גלובלי, שמגיש קריאות קרוב למשתמשים ומקצץ latency בין אזורים. השלישית היא Cosmos DB כעמוד השדרה העמיד, מה שנותן ל-OpenAI רפליקציה גלובלית מנוהלת במקום להריץ מסד נתונים מבוזר משלה.

בהקשר הרחב, רוב השיח על scaling ב-AI מתמקד ב-GPU, אבל מוצר AI צרכני בסדר גודל כזה הוא גם שירות ווב עם state בהיקף עצום. פיצ'רים כמו זיכרון מתמשך ו-agents שרצים לאורך זמן מכפילים את נפח הקריאות והכתיבות לכל משתמש. הפוסט הוא גם המלצה שקטה על ה-stack של Microsoft, דווקא בתקופה ש-OpenAI פיזרה את כוח המחשוב שלה לעננים אחרים, כולל המודלים שלה ב-AWS Bedrock.

הסתייגויות: בלוגים הנדסיים מראים את מסלול ההצלחה ומשמיטים נתוני עלות. המספר פי 12 הוא ביחס ל-baseline הקודם של OpenAI עצמה, לא benchmark כללי. ובכל זאת, זו ארכיטקטורת ייחוס שימושית לצוותים שבונים backend לזיכרון של agents בקנה מידה גדול.