הכאב של production יוצא החוצה: retry cascades, 14% כשלי JSON ועלויות O(n²) חבויות ב-agents

זה השבוע שבו קהילת ה-agent engineering עברה מהייפ של דמואים למציאות של production, עם שלושה פוסטים ב-Dev.to (כולם של Mukunda Katta) שזיקקו את הכאב. ראשון: הידרדרות של 22 דקות ב-5xx של Anthropic, שבה מדיניות ה-retry של שירות agent הנפיקה מחדש קריאות כושלות במהירות שבה ה-API החזיר שגיאות, ויצרה מפולת backlog בהתאוששות. הפתרון — circuit breakers עם exponential backoff וכן בדיקת half-open לזיהוי התאוששות — נטען כיום כחובה לכל agent harness ב-production.

שני: לאורך 12,400 קריאות structured-output ל-Claude (רובן Sonnet 4.5/4.7), רק 86% נשפו כ-JSON בניסיון הראשון למרות prompts מפורשים ללא גדרות. Claude מחזיר ```json fences ב-14% מהמקרים, ו-Katta שחררה crate ב-Rust לחילוץ עמיד של JSON מתגובות כאלה. זה מספר אמינות קונקרטי שרוכשים enterprise יכולים להחזיק את Anthropic אחראית אליו — וסימן ש-prompt engineering לבד לא מספיק ל-structured outputs בקנה מידה.

שלישי: ריצת agent בת 3 שלבים שהמפתח ציפה שתעלה 12 סנט הסתיימה בחיוב של 4.20 דולר — נפיחות של פי 35 — בגלל דפוס קריאות-כלים בסיבוכיות O(n²) שהחיוב per-call של Anthropic לא חושף. הכלי החדש agenttrace מקבץ קריאות לפי ריצה כדי לחשוף נקודות חמות של מבנה עלות. זה משתלב במסגור 'remote worker' בפוסט ויראלי נוסף שטוען ש-Claude Code, Codex ו-agents מנוהלים זקוקים ל-sandboxes, ל-prompts אישור ול-handoff לנייד — ה-harness ב-open-source בשם MateClaw הוצג כאחת התשובות.

תחרותית, הפוסטים האלה ילחצו על Anthropic לחשוף טלמטריית עלות ברמת ריצה, לשפר אמינות structured-output ולשלוח דפוסי circuit-breaker רשמיים. ה-MCP tunnels החדשים וה-sandboxes הביתיים עוזרים בבידוד אך לא נוגעים ישירות בפערי האמינות ותצפיתיות-העלות. צפו שעדכוני Code with Claude הבאים יטפלו לפחות בבעיית ה-JSON-parse ובעלות ברמת ריצה — אלה כיום benchmarks ציבוריים שהקהילה תחזיק את Anthropic אחראית אליהם.