מחקר של Apple מגלה: LLMs לא באמת בייסיאניים באמונות ההסתברותיות שלהם

Apple פרסמה ב-28 באוגוסט מחקר שמציג טכניקה לחקור LLMs ככללי עיבוד מידע, ומכמת עד כמה בעקביות הם מעדכנים ומייצגים אמונות הסתברותיות. הממצא המרכזי: LLMs אינם בייסיאניים באופן עקבי — הם נכשלים בעדכון אמונות לא-ודאיות באופן קוהרנטי ותאורטי-הסתברותי, ומציגים חוסר-עקביות פנימי מדיד.

עקביות בייסיאנית משמעה שכאשר מקבל ראיות חדשות, מסיק רציונלי מעדכן את אמונותיו באופן ספציפי וקוהרנטי מתמטית. השיטה של Apple מתייחסת למודל כפונקציית עדכון-אמונות ובוחנת האם הפלטים שלו מצייתים לאקסיומות ההסתברות תחת מידע חדש. הגילוי שהם לא — באופן שיטתי — נושא משקל מעשי: משמעו שהערכות הביטחון או ההסתברות שמודל מבטא יכולות להיות סותרות פנימית, לא רק רועשות.

הסיכון הגבוה ביותר בתחומים ש-Apple נוקבת בהם במפורש — רפואה, מדע ומשפט — שבהם מערכות חייבות לייצג ולעדכן אי-ודאות באופן רציונלי כדי להיות אמינות. מודל שמקצה הסתברויות לא-קוהרנטיות לאבחנות או לתוצאות משפטיות עלול להטעות בדרכים שקשה לזהות, כי הפלטים נראים בטוחים ורהוטים. זה מתחבר לזהירות הרחבה יותר של השבוע מפני אמון-יתר ב-AI agentic, ולאזהרה של Ethan Mollick מפני ייחוס חשיבה קוהרנטית דמוית-אדם למודלים על סמך ה-chain-of-thought שלהם.

מתודולוגית, העבודה מוסיפה קפדנות לשאלה מעורפלת אך חשובה — האם ניתן לסמוך על הערכות אי-הוודאות של LLM? — שחשובה ל-calibration, לשימוש בכלים ולתמיכת החלטות בסיכון גבוה. היא גם מתאימה לדפוס של Apple לפרסם מחקר מפוכח וממוקד-מגבלות (שמהדהד עבודה קודמת שהטילה ספק ביכולת ההיסק של LLMs) ולא הייפ יכולות. כדאי לעקוב האם הטכניקה תהפוך להערכה סטנדרטית ל-calibration, האם חברות ה-AI המובילות יגיבו בשיפורי עקביות בייסיאנית, וכיצד היא תעצב הנחיות deploy ל-AI בתחומים מפוקחים ובסיכון גבוה.