Національний інститут стандартів і технологій США (NIST) презентував Dioptra — інструмент для оцінки ризиків моделей штучного інтелекту. Цей модульний відкритий вебінструмент вперше був випущений у 2022 році.
Dioptra допомагає компаніям і користувачам моделей ШІ оцінювати вплив шкідливих атак на моделі, зокрема, як атаки, що «отруюють» навчальні дані, можуть знижувати продуктивність систем ШІ. Інструмент дозволяє проводити бенчмаркінг та тестування моделей у середовищі імітованих загроз.
Разом з Dioptra NIST випустив документи з рекомендаціями щодо зниження ризиків ШІ. Випуск цього інструменту є частиною партнерства між США та Великою Британією, оголошеного на саміті з безпеки ШІ у Блетчлі-Парку минулого року.
Dioptra також є результатом наказу президента Джо Байдена щодо ШІ, який вимагає від NIST допомагати у тестуванні систем ШІ. Наказ встановлює стандарти безпеки ШІ та зобов’язує компанії інформувати уряд про результати тестів безпеки перед випуском продуктів на ринок.
NIST зазначає, що Dioptra не усуває всі ризики моделей ШІ, але допомагає виявити атаки, які знижують ефективність системи, та оцінити цей вплив. Інструмент працює лише з моделями, які можна завантажити та використовувати локально, як, наприклад, моделі родини Llama від Meta. Моделі, доступні через API, наразі не підтримуються.
Джерело: TechCrunch
