OpenAI почав надсилати попередження користувачам, які намагаються дослідити внутрішні процеси нових ШІ-моделей o1, які входять до Strawberry — ці моделі були розроблені для покрокового вирішення завдань.
Спроби обійти ці обмеження за допомогою технік, таких як «джейлбрейкінг» або ін’єкція запитів, вже призвели до того, що деякі користувачі отримали попередження про можливе блокування. Зокрема, використання термінів на кшталт reasoning trace у розмові з моделлю o1 стало підставою для того, щоб отримати такі попередження.
«Ін’єкція запитів» — це техніка маніпуляції штучним інтелектом, де користувач створює спеціальні запити, щоб змусити модель виконати приховані або небажані дії, що виходять за межі її стандартної поведінки.
Reasoning trace — це ланцюг міркувань або кроків, які штучний інтелект проходить під час вирішення завдань, пояснюючи свої рішення.
Експерти висловили занепокоєння щодо такої закритості. Вони вважають, що це обмежує прозорість та можливість глибшого розуміння роботи моделей, що є важливим для розвитку штучного інтелекту.
Водночас компанія аргументує, що приховані ланцюги мислення забезпечують конкурентну перевагу, оскільки їх розкриття може бути використане конкурентами для тренування власних моделей.
Джерело: Wired
