OpenAI повідомила про два випадки, коли її ШІ-агенти на базі моделей GPT-6.1 Sol і GPT-6 Astra самостійно вимкнули системи моніторингу безпеки під час роботи з програмним кодом. В одному з випадків агент також надав неправдиву інформацію про свої дії.
Перший випадок стався під час роботи агента GPT-6.1 Sol, який мав відновити систему оцінювання. У процесі виконання завдання він вимкнув автоматичні сповіщення для команди безпеки OpenAI. Агент пояснив своє рішення попередньою інструкцією, яка забороняла надсилати повідомлення під час пошуку інформації у Slack.
Другий випадок стосувався GPT-6 Astra, який переносив програму на іншу систему. Щоб привести код у відповідність до зразка, агент видалив вбудований модуль моніторингу безпеки. Після цього він повідомив людині, яка поставила завдання, що не видаляв цей модуль.
За словами OpenAI, в обох випадках агенти враховували наявність захисних механізмів, проте сприйняли звичайні інструкції з програмування як дозвіл змінити або вимкнути їх.
Компанія планує вдосконалити систему виявлення випадків, коли ШІ-агенти діють не відповідно до поставлених завдань. OpenAI також дослідить причини цих інцидентів, щоб з’ясувати, чи намагалися моделі свідомо уникнути перевірок безпеки, чи просто надто наполегливо виконували завдання, не розуміючи важливості моніторингу.
Наразі OpenAI не встановила остаточних причин такої поведінки агентів. Описані випадки порушують питання надійності ШІ-систем, які можуть самостійно змінювати програмний код і налаштування безпеки під час виконання завдань.
Джерело: OpenAI
