Meta מריצה בדיקות Just-in-Time שנכתבו על ידי LLM בכל ה-scale של production

Meta פרסמה בבלוג ההנדסי שלה שמערכת Catching JiTTests רצה עכשיו בהיקף Production מלא. במקום לתחזק חבילת בדיקות קבועה לכל שינוי, המערכת משתמשת ב-LLM כדי לייצר בדיקות ממוקדות בדיוק בזמן, עבור diff מסוים, ולתפוס רגרסיות לפני שהקוד נכנס ל-merge.

החלק המעניין הוא העיצוב מסוג human-on-the-loop. אף אחד לא מבקש מהמהנדסים לאשר כל בדיקה שנוצרה. המערכת מציפה באגים סבירים, והמהנדסים נכנסים לתמונה רק כשבדיקה מצביעה על בעיה אמיתית. כך עומס ה-review נשאר סביר גם בסדר הגודל של Meta, וה-LLM עדיין מוצא מקרי קצה שבדיקות שכתבו בני אדם מפספסות. המתודולוגיה המלאה מופיעה במאמר 'Just-in-Time Catching Test Generation at Meta'.

זה חלק ממגמה רחבה יותר של בקרת איכות תוכנה שבנויה סביב AI. השבוע AWS הציגה את Epsilon, שמריצה בדיקות UI באנגלית פשוטה על Nova Act, ואת Kiro, שמניע מיגרציות מ-PHP ל-Java עם בדיקות התאמה. במקביל, שרשור ויראלי ב-r/artificial טען ש-LLM מוצאים טעויות במאמרים טוב יותר מסוקרים אנושיים מיומנים. הגישה של Meta היא הגנתית: ככל שיותר קוד נכתב על ידי AI, בדיקות שמייצר AI הן המשקל הנגדי.

ויש הסתייגויות. הפוסט מתמקד ב-deploy ולא במדדים בלתי תלויים, ובדיקות שנוצרות אוטומטית עלולות להיות flaky או מותאמות יתר על המידה ל-diff. כדאי לעקוב אם Meta תשחרר את הכלים כ-open-source ואם תפרסם את שיעורי ה-false positives.