OpenAI змінила правила роботи свого вебсканера OAI-SearchBot
OpenAI переглянула роботу свого вебсканера OAI-SearchBot, який збирає відкриту інформацію з інтернету для ChatGPT. Компанія змінила публічний опис бота: з нього прибрали згадки про використання даних для навчання моделей або формування посилань у відповідях ChatGPT.
У новій редакції документації OpenAI уточнила, які з ботів підпорядковуються правилам robots.txt — файлу, через який власники сайтів визначають, кому можна переглядати їхні сторінки. Тепер правила robots.txt поширюються тільки на GPTBot і OAI-SearchBot. Натомість ChatGPT User Agent — сканер, який переходить на сайт лише за прямою дією людини у ChatGPT — може відвідувати сторінки, навіть якщо в robots.txt стоїть заборона.
OpenAI також зазначила, що OAI-SearchBot більше не відповідає за формування навігаційних посилань у відповідях ChatGPT. Це означає, що блокування цього бота не вплине на присутність сайту серед посилань у чаті.
Крім того, компанія підтвердила, що GPTBot і OAI-SearchBot можуть обмінюватися результатами сканування. Якщо сайт дозволяє роботу обох сканерів, OpenAI може використовувати дані лише одного з них, щоб не дублювати навантаження.
Для власників сайтів це означає необхідність уважніше налаштовувати robots.txt, оскільки від того, кому дозволений доступ, залежить, як їхній контент може потрапляти в ChatGPT. При цьому ChatGPT User Agent може відвідувати сайт у межах прямого запиту, незалежно від інших обмежень.
Джерело: Search Engine Land
