Google, OpenAI, Anthropic і Microsoft домовилися підтримати нове правило у файлі robots.txt, яке дозволить власникам сайтів забороняти використання їхнього контенту для навчання генеративного штучного інтелекту. Завдяки цьому видавці та компанії зможуть встановлювати єдине обмеження для кількох розробників ШІ замість окремих налаштувань для кожного з них.
Новий підхід ґрунтується на пропозиції Кевіна Келлі, технічного керівника Anthropic зі стандартизації. Її розглядає Internet Engineering Task Force (IETF) — організація, яка розробляє технічні стандарти для інтернету.
Зараз власники сайтів мають окремо визначати пошукових роботів кожної ШІ-компанії та прописувати для них правила доступу до контенту. Новий механізм передбачає спільний сигнал, який розпізнаватимуть усі компанії, що приєдналися до ініціативи.
Для цього власникам сайтів потрібно буде додати до файлу robots.txt відповідні інструкції:
Disallow: /
Allow: /press-kit/
Параметр Disallow: / означає заборону на використання контенту сайту для навчання ШІ. Водночас Allow: /press-kit/ дозволяє компаніям використовувати матеріали з окремого розділу — у цьому випадку з прескіту.
Нове правило стосуватиметься саме збору даних для навчання генеративних моделей. Воно не заборонятиме звичайним пошуковим роботам переглядати сайт і не впливатиме безпосередньо на появу його сторінок у результатах пошуку Google.
Google застосовуватиме новий сигнал до Google-Extended — механізму, який дозволяє власникам сайтів обмежувати використання матеріалів для навчання моделей Gemini.
Компанії планують впроваджувати нове правило поступово. Anthropic уже почала його підтримувати, Microsoft планує приєднатися 1 лютого 2027 року, а Google — на початку 2027 року. OpenAI також підтвердила участь і повідомила, що впровадить відповідні налаштування протягом найближчих місяців.
Водночас нове правило не поширюватиметься на контент, який ШІ-компанії зібрали раніше. Якщо компанія вже отримала матеріали сайту, додавання обмеження до robots.txt не видалить їх із наявних наборів даних.
Для власників сайтів, медіа та бізнесу новий механізм спростить керування доступом до контенту. Вони зможуть визначати, які матеріали дозволено використовувати для навчання ШІ, а які мають залишатися поза таким використанням. Ефективність обмежень залежатиме від того, чи дотримуватимуться їх компанії, які збирають дані.
Джерело: Engadget
