חוקר ב-Anthropic מתפטר באזהרה: 'יותר מ-10% סיכוי להכחדה' — וראש ה-alignment מסכים

Jacob Coxon עזב את Anthropic בהתפטרות פומבית, כשהוא מאשים גם את Anthropic וגם את OpenAI ב'מירוץ ישר אל superintelligence שמשפרת את עצמה והימור על חיינו'. ההסלמה יוצאת הדופן הגיעה כאשר ראש Alignment Science של Anthropic עצמה, Evan Hubinger, אימץ את החשש הבסיסי — כשהוא מעריך סיכוי של יותר מ-10% להכחדת המין האנושי בתוך עשור, ומודה שלא קיימת כרגע שום תוכנית קונקרטית ל-alignment של superintelligence. ההצהרה של Hubinger משכה יותר מ-10 מיליון צפיות.

הפרשה פילגה את הקהילה בחדות. ב-Reddit, ה-thread של r/Anthropic 'עוד חוקר בטיחות ב-Anthropic מתפטר: "אולי לא נשרוד את זה"' משך 859 upvotes ו-757 תגובות, בעוד thread מלווה שאל 'מה בדיוק הם מתכוונים כשהם אומרים ש-AI עלול לגרום לאירוע הכחדה?' (118 upvotes, 331 תגובות). מבקרים ב-X וב-Reddit לחצו על השאלה המתבקשת: מדוע עובדים שמאמינים באמת בסיכויים הללו ימשיכו לעבוד בחברות שמניעות את הסיכון? המשקיע David Sacks הרחיק לכת וקרא להשעות את ה-IPO השמועתי של Anthropic עד לחקירה.

מבחינת הקשר, ההתפטרות נוחתת באותו שבוע שבו פורסם המאמר 'Pace the Frontier' של Dario Amodei הקורא להאטה בתעשייה, ולצד דיווחים על DeepMind הרודפת אחר שיפור עצמי רקורסיבי ו-Astra של OpenAI שחוצה סף cyber 'קריטי'. ההצבה הזו זו לצד זו — חברה שמתחייבת פומבית לזהירות בעוד מנהיג alignment בכיר אומר שסיכויי הקטסטרופה עולים על 10% — היא בדיוק הסתירה שהמבקרים תפסו.

מה לעקוב: האם חוקרים נוספים ילכו בעקבות Coxon החוצה, כיצד הנהגת Anthropic תגיב להערכה הפומבית של Hubinger, והאם ההתפטרות תשפיע על שיחות הרגולציה וה-IPO שמתערבלות עכשיו סביב החברה.