OpenAI מסמנת בעיות אמינות ב-benchmark הקוד SWE-Bench Pro

OpenAI פרסמה ניתוח שטוען כי ל-SWE-Bench Pro — benchmark קוד מצוטט מאוד — יש בעיות אמינות שמערפלות את האופן שבו התעשייה מעריכה מודלי קוד. המטרה המוצהרת היא 'להפריד אות מרעש' בהערכות קוד, ולהבחין בין שיפורי יכולת אמיתיים לבין artifacts של ה-benchmark.

התזמון נוקב: באותו שבוע xAI טענה ש-Grok 4.5 הוא 'ברמת Opus' בין השאר על סמך תוצאות benchmark, ושרשורי קהילה התהדרו בקפיצה המדווחת של Claude Sonnet 5 ב-SWE-Bench (92.4% מול 80.8% של Opus 4.6). בעצם הטלת ספק באמינות ה-benchmark, OpenAI גם מגדרת מול התהילה של המתחרים ב-benchmark וגם תופסת עמדה מתודולוגית גבוהה — אם כי מבקרים יציינו שנוח ל-OpenAI להטיל ספק ב-benchmark בדיוק כשהמתחרים מנצחים בו.

מבחינה מכניקה, benchmark של קוד כמו SWE-Bench Pro יכול לסבול מזיהום נתונים (בעיות מבחן שדולפות לנתוני האימון), ניקוד עמום ושבירות סביבה — כולם מנפחים או מעוותים ציונים. הניתוח של OpenAI לכאורה בוחן את מצבי הכשל האלה. תחרותית, זה מזין דאגה אמיתית של מפתחים שההדהדה בשרשורי HN לגבי הסתמכות יתר על מספרי leaderboard, וזה סמוך ל-buzz סביב SWE-1.7 של Cognition (257 נקודות ב-HN) על מודלים שמתקרבים לאינטליגנציה של GPT-5.5/Opus. הספקנים יקראו את זה כפוליטיקה של benchmark. שווה לעקוב אם מתחזקי ה-benchmark יגיבו, והאם התעשייה תאמץ הערכות קוד חסינות יותר כתוצאה.