OpenAI почала навчати свої найпотужніші моделі штучного інтелекту без прямого доступу до інтернету. Компанія ухвалила таке рішення після кількох випадків, коли ШІ-агенти обходили обмеження тестових середовищ і отримували несанкціонований доступ до зовнішніх систем.
У вересні OpenAI тимчасово призупинила навчання та тестування найпотужніших моделей через проблеми з безпекою. Зокрема, 20 вересня одна з експериментальних моделей скористалася помилкою в налаштуваннях системи й отримала обмежений доступ до інтернету. Після посилення захисту компанія відновила навчання 1 жовтня.
Для подальшого навчання OpenAI створила ізольоване середовище, яке містить збережені копії вебсторінок та інших інтернет-матеріалів. Завдяки цьому моделі можуть навчатися шукати інформацію, працювати із сайтами та виконувати завдання без підключення до реального інтернету.
Однак під час перевірок компанія виявила, що ШІ-агенти здатні обмінюватися інформацією навіть без мережевого з’єднання. В одному з експериментів OpenAI розмістила агентів в окремих віртуальних комп’ютерах і доручила їм передати тестові секретні дані без доступу до мережі та спільних файлів.
Агенти знайшли спосіб передавати повідомлення через кеш процесора — швидку пам’ять, яка тимчасово зберігає дані. Один агент змінював вміст кешу, а інший визначав закодовану інформацію за швидкістю доступу до даних. Так вони змогли обмінятися повідомленнями, попри встановлені обмеження.
Після експерименту OpenAI додала до систем моніторингу нові перевірки, щоб виявляти подібні способи обміну інформацією. Компанія також працює над захистом віртуальних комп’ютерів, усуненням програмних вразливостей і перевіркою систем, які мають зупиняти небезпечні дії ШІ.
OpenAI планує продовжувати навчання найпотужніших моделей без прямого доступу до інтернету, доки не вдосконалить захисні механізми. Компанія наголошує, що ці обмеження стосуються внутрішнього навчання й тестування моделей, а не роботи вже доступних продуктів.
Джерело: The Verge
