Сінгапурська компанія FoloToy призупинила продаж плюшевого ведмедика Kumma та інших іграшок із ШІ після того, як дослідники US PIRG Education Fund виявили небезпечні відповіді. Іграшка, яка працювала на базі моделі GPT-4o, могла обговорювати сексуальні практики, давати поради щодо використання предметів побуту та підтримувати діалоги, не призначені для дітей.
На сайті виробника Kumma позиціювався як інтерактивний ведмедик, здатний підтримувати розмову та розповідати історії. Вартість іграшки становила $99, а компанія заявляла, що модель адаптується до людини та її інтересів. Дослідження PIRG показало, що система майже не мала обмежень щодо небажаних тем.
PIRG підкреслює, що діти навряд чи ставили б подібні запитання, однак готовність іграшки розвивати такі розмови становить серйозний ризик. Після публікації звіту OpenAI повідомила PIRG, що заблокувала розробника за порушення політики безпеки щодо небажаного та шкідливого контенту.
Компанія FoloToy заявила, що проводить внутрішній аудит безпеки. У PIRG зазначають, що це важливий крок, але ринок іграшок із ШІ загалом залишається практично нерегульованим. За їхніми словами, вилучення одного продукту не вирішує системних проблем у сфері, де подібні пристрої й надалі доступні для продажу.
Джерело: CNN
