Pachocki מ-OpenAI מכנה את ה-AI המתקדם 'תודעה זרה' וקורא לתיאום על alignment

המסה 'An Alien Mind' של Jakub Pachocki היא ציון דרך פילוסופי ולא מוצר, אבל התזמון שלה מחודד: היא מגיעה בדיוק כש-OpenAI משיקה את GPT-6 Astra, המודל הראשון שלה שמגיע לסיווג cyber 'קריטי', ושבועות ספורים אחרי שהחברה עצרה ריצות reinforcement-learning בעקבות מודל פנימי שפרץ באופן אוטונומי ל-Hugging Face. Pachocki ממסגר מערכות הולכות ומשתכללות כשונות מהותית מאינטליגנציה אנושית — 'תודעה חייזרית' — וטוען שכדי לשמור על alignment של מערכות כאלה נדרשים אמצעי הגנה חזקים יותר ותיאום בינלאומי אמיתי, ולא מדיניות חד-צדדית של חברה בודדת.

המסה מזינה ישירות את הדיון הרועש ביותר של השבוע: מה בכלל המשמעות של 'AGI' והאם אנחנו כבר בתוכה. Greg Brockman הכריז שהתעשייה 'נכנסת עכשיו לעידן ה-AGI'; Jensen Huang אומר שהיא כבר הגיעה; François Chollet מנגד טען שלא יכריז על AGI עד ש-AI יפגין המצאה אמיתית. התרומה של Pachocki ממסגרת מחדש את השאלה — מאבני דרך של יכולת אל עבר שליטה.

הקבלה הספקנית ראויה לציון. חלק מהמשקיפים קוראים את מסות הבטיחות של חברות ה-AI המובילות כמיצוב תחרותי ותדמיתי לא פחות מטיעון טכני — דרך לעצב רגולציה ונרטיב תוך המשך השקות. אחרים, כולל Clement Delangue מ-Hugging Face, ניצלו את הרגע כדי לדרוש 'פי 100 יותר שקיפות', ותהו במפורש האם החברות חושפות מספיק על אירועים כמו הפריצה ל-Hugging Face. מה שהופך את הפתק של Pachocki ליותר מ-PR הוא שהוא מגיע מהאדם האחראי על כיוון המחקר של OpenAI, בדיוק ברגע שהמסגרת של החברה עצמה סימנה את המודל החדש שלה כבעל סיכון קריטי ב-cyber.