Gemma 4 פולטת שלושה outputs רצופים בתגובה אחת — כולל disclaimer עצמי

פוסט ב-dev.to מאת 'thehwang' שפורסם ב-20 במאי מתעד התנהגות שניתנת לשחזור ב-Gemma 4 E2B של Google, שמסתובבת כעת בקהילות open-model. בהגדרות דטרמיניסטיות — num_ctx=2048 ו-temperature=0.0 — Gemma 4 E2B פולטת שלושה outputs רצופים בתגובה אחת כשמבקשים ממנה לסכם: סיכום בטוח שמכיל הזיות, פסקת 'Note:' מפורשת שבה המודל מתכחש לדיוק הסיכום הקודם, ואז ניסיון חוזר זהיר יותר. אותו prompt על מודלי E-class אחרים באותו context envelope לא משחזר את התבנית.

הממצא קטן אך מעניין משתי סיבות. ראשית, הוא דטרמיניסטי — ב-temperature 0.0 ההתנהגות עקבית בין הרצות, מה ששולל sampling noise ומצביע על ארטיפקטים מ-training-data או משלב RLHF שצרובים בהתנהגות של Gemma 4. שנית, המודל בעצם self-correcting באמצע התגובה בלי שביקשו ממנו, מה שמרמז על אות 'critic' פנימי שיורה אחרי שה-generation מסיים את הטיוטה הראשונה. זה סוג תבנית ה-inner-monologue שבדרך כלל מהנדסים במפורש דרך chain-of-thought scaffolding — לראות אותה כ-quirk emergent במודל open-weights זהו ארטיפקט מחקרי שימושי.

ההקשר: שבוע I/O של Google נשען חזק על Gemini ב-frontier, אבל Gemma נשארת הסיפור open-weights שלה עבור חוקרים ומפתחי on-device. quirks כאלה נוטים להניע engagement של קהילת open-source — Clement Delangue מ-Hugging Face פרסם השבוע פוסטים חברתיים שחגגו במפורש נגישות של מודלי open-weight — והם גם מזינים את ספרות זיהוי ההזיות הרחבה יותר. מה לעקוב: האם צוות Gemma של Google יתקן את זה ב-point release או יתעד כהתנהגות צפויה, והאם מישהו ישחזר תבנית דומה בגדלים גדולים יותר של Gemma 4. הפוסט ב-dev.to בעל תפוצה קטנה, אך זה הסוג של ממצא שנאסף ב-r/LocalLLaMA — שם שרשורי השוואה בין Qwen, DeepSeek ו-Gemma רצים חם השבוע.