OpenAI מתיישרת: אות robots.txt אחד לכל העדפות אימון ה-AI

OpenAI הודיעה שתכבד סימון משותף בקובץ robots.txt, שמאפשר למפעילי אתרים להגדיר פעם אחת את העדפות האימון שלהם מול כל הספקים שמצטרפים למנגנון. היום מו״לים נאלצים לחסום או לאשר כל crawler של AI בשמו, ברשימה שרק מתארכת עם כל חברת AI שמשיקה בוט חדש.

המנגנון נשען על robots.txt, הקובץ הוותיק שאתרים משתמשים בו כבר עשרות שנים כדי לכוון crawlers. הנחיה משותפת אחת מספיקה כדי לבטא העדפה לגבי אימון שכל ספק משתתף קורא, והיא מפרידה בין שימוש לאימון לבין סריקה מסוג אחר, כמו אינדוקס לחיפוש. ההבחנה הזו קריטית למו״לים שרוצים להופיע בחיפוש מבוסס AI, אבל לא להפוך לחלק מנתוני האימון.

הצעד מגיע אחרי שנים של לחץ מצד ארגוני חדשות ויוצרים, ותביעות סביב נתוני אימון. ההתחייבות לתקן משותף מאפשרת ל-OpenAI להציג פנים משתפות פעולה, ובמקביל לדחוף את התעשייה למנגנון opt-out אחד במקום אינסוף מאבקי רישוי דו-צדדיים. הערך של המהלך תלוי בכמה ספקים נוספים יצטרפו: תקן שרק חברה אחת מכבדת לא שווה הרבה.

כמה הסתייגויות: robots.txt הוא וולונטרי ומשפיע רק על סריקה עתידית, לא על דאטה שכבר נאסף. ההודעה גם לא מכריעה מה נחשב אימון ומה נחשב שליפה לצורך מענה. מו״לים ירצו לראות ביקורות או אכיפה, ולבדוק אם Google, Anthropic ו-Meta יחתמו גם הן.