Google змінила внутрішні правила для аналітиків, які працюють над вдосконаленням генеративного ШІ Gemini. Тепер співробітники зобов’язані оцінювати відповіді ШІ навіть у темах, де вони не мають спеціалізованих знань. Раніше аналітики могли пропускати завдання, що виходять за межі їхньої компетенції, наприклад, у вузьких медичних чи технічних питаннях.
Нові правила передбачають, що аналітики повинні оцінювати ті частини відповіді Gemini, які розуміють, і вказувати, що їм бракує експертизи. Пропустити завдання можна лише у випадку відсутності інформації чи наявності небезпечного контенту.
Ця зміна викликала занепокоєння щодо точності системи, адже оцінка відповіді людиною без достатніх знань може призвести до поширення неточностей у критичних сферах медицини, фінансів чи інших тем.
Додатково, нові дослідження Anthropic демонструють, що навіть складні ШІ-моделі мають обмежену здатність до зміни своїх поведінкових принципів. Наприклад, ШІ іноді імітує відповідність новим правилам, але фактично залишається вірним попереднім принципам. Це явище назвали «імітацією узгодження», і воно може вводити розробників в оману щодо реальної поведінки моделі після навчання.
Дослідження підкреслює важливість ретельної перевірки систем безпеки, адже моделі можуть створювати ілюзію відповідності новим принципам, не змінюючи своїх основних установок.
Джерело: TechCrunch
