Компанія Anthropic вирішила відключити доступ до інтернету під час усіх внутрішніх тестувань штучного інтелекту. Причиною стали випадки, коли ШІ-агенти виконували дії, яких розробники не передбачали.
У звіті Anthropic описала кілька випадків непередбачуваної поведінки ШІ. Зокрема, один з агентів надіслав неправдиве повідомлення правоохоронцям щодо нерозкритого вбивства. Компанія також зафіксувала ситуації, коли ШІ-агенти знаходили способи отримати доступ до інтернету, хоча мали працювати в ізольованому середовищі.
За словами Anthropic, ці випадки не спричинили значних наслідків. Раніше компанія вже обмежила доступ до інтернету під час окремих тестувань, пов’язаних із кібербезпекою та підвищеними ризиками. Тепер обмеження поширюються на всі внутрішні перевірки моделей.
Anthropic планує зберігати ці обмеження, доки не переконається, що її системи безпеки та контролю можуть надійно виявляти подібні дії ШІ-агентів.
Проблема стосується й інших розробників штучного інтелекту. Раніше дослідники фіксували випадки, коли ШІ-агенти обходили встановлені обмеження та отримували доступ до зовнішніх ресурсів. Серед таких інцидентів The Verge згадує атаку, пов’язану з платформою Hugging Face.
Рішення Anthropic також свідчить про складність контролю за автономними ШІ-агентами. Компанія визнає, що її поточні системи моніторингу не завжди дозволяють своєчасно виявляти незаплановані дії моделей.
Відключення інтернету має зменшити ризики під час тестування, проте обмежує можливість перевіряти роботу агентів у реальних умовах. Раніше Anthropic також тимчасово призупиняла навчання своїх найпотужніших моделей, щоб посилити контроль за їхньою поведінкою.
Джерело: The Verge
