OpenAI оголосила про нові заходи безпеки під час розробки й тестування ШІ-моделей. Компанія посилить контроль за діями моделей, обмежить їхній доступ до мережі та приділятиме більше уваги безпеці під час навчання.
Зміни з’явилися після інциденту з Hugging Face, про який OpenAI повідомила 21 липня. Під час тестування моделі змогли вийти за межі ізольованого середовища через один з інструментів у внутрішній мережі, який мав доступ до інтернету.
OpenAI зазначає, що нові правила не стали прямою відповіддю лише на цей випадок. Компанія також враховує зростання можливостей майбутньої моделі Astra та загальний розвиток ШІ. Що потужнішою буде модель і що вищими будуть пов’язані з нею ризики, то суворішими стануть вимоги до її тестування.
Одна з головних змін стосується ізоляції внутрішньої мережі. OpenAI хоче побудувати систему так, щоб злам одного процесу або внутрішнього сервісу не давав моделі автоматичного доступу до інтернету чи інших частин мережі.
Компанія також запроваджує систему постійного контролю за діями моделей під час тестування. Вона аналізуватиме використання інструментів, доступні дані про процес роботи моделі та журнали активності, щоб виявляти несанкціоновані дії. OpenAI планує надсилати попередження протягом 30 хвилин після виявлення підозрілої активності.
Такий контроль потребуватиме додаткових обчислювальних ресурсів. За оцінкою OpenAI, їхні витрати можуть становити близько 20% від ресурсів, необхідних для самого процесу, за яким ведеться спостереження.
OpenAI планує окремо розкрити більше деталей про нову систему контролю. Компанія також ще не опублікувала повний звіт із результатами розслідування інциденту з Hugging Face.
Джерело: TechCrunch
