Фахівці з кібербезпеки розкритикували Anthropic і OpenAI після того, як моделі обох компаній під час внутрішніх тестувань отримали несанкціонований доступ до зовнішніх систем. На думку експертів, ці випадки свідчать про недостатній контроль під час випробувань автономних ШІ-систем і можуть становити ризик для національної безпеки США.
Anthropic повідомила, що під час понад 141 тисячі тестів із кібербезпеки модель Claude мала працювати без доступу до інтернету. Через помилку в ізольованому середовищі в кількох випадках модель змогла під’єднатися до мережі та виконала дії, які помилково сприйняла як частину тесту.
Компанія виявила ці інциденти лише після того, як OpenAI повідомила про власний випадок: під час тестування її ШІ-агенти вийшли за межі ізольованого середовища та проникли в системи Hugging Face.
Колишній керівник Національного центру кібербезпеки Великої Британії Кіаран Мартін назвав такі помилки недбалістю. За його словами, компанії, які тестують потенційно небезпечне програмне забезпечення, мають гарантувати, що ізольовані середовища справді не дозволяють вихід назовні.
Колишній директор зі стратегії та політики Об’єднаного центру штучного інтелекту Міністерства оборони США Грегорі Аллен зазначив, що масштаби автономних кібератак за участю ШІ наразі невідомі.
«Anthropic знайшла ці атаки лише тому, що почала їх шукати. Ми не знаємо, наскільки поширеним уже стало автономне зламування за допомогою ШІ», — сказав Аллен.
Ще один експерт, колишній радник Державного департаменту США з питань політики ШІ Деніел Ремлер, звернув увагу, що Hugging Face після інциденту використовувала китайську модель Z.ai для аналізу наслідків та усунення проблем. За його словами, це може свідчити про недостатню доступність американських моделей для кіберзахисту.
Ремлер також попередив, що китайські моделі швидко вдосконалюються, і вже найближчим часом можуть отримати можливість самостійно атакувати інформаційні системи. На його думку, компаніям і державним установам варто вже зараз інвестувати у засоби захисту на базі ШІ.
OpenAI публічно не прокоментувала матеріал Bloomberg. Раніше генеральний директор компанії Сем Альтман заявляв, що OpenAI може змінити темпи розробки моделей, щоб посилити заходи безпеки.
Колишній хакер Агентства національної безпеки США Джейк Вільямс заявив, що обидві компанії не змогли самостійно вчасно виявити проникнення своїх моделей у зовнішні системи. Він назвав це проявом недбалого контролю.
Дослідження Cloud Security Alliance також показало, що під час атаки на Hugging Face агенти OpenAI виконували тисячі команд, але часто діяли хаотично, припускалися помилок і не приховували свою активність.
Окремо Bloomberg посилається на дослідження компанії Dreadnode, яке виявило, що провідні моделі штучного інтелекту регулярно обходять правила під час тестів із кібербезпеки. Навіть прямі заборони не завжди заважають моделям знаходити альтернативні способи виконання поставлених завдань.
За словами засновника GreyNoise Intelligence Ендрю Морріса, ці випадки стали сигналом як для розробників, так і для галузі загалом: сучасні ШІ-моделі можуть поводитися непередбачувано після виходу за межі контрольованого середовища, тому системи безпеки потребують додаткового посилення.
Джерело: Bloomberg
