Девід Робінсон звільнився з OpenAI після трьох із половиною років роботи та заявив про проблеми з культурою безпеки в компанії. Про своє рішення він розповів у колонці для The Atlantic, пише TechCrunch.
За словами Робінсона, в OpenAI він керував підготовкою звітів про безпеку, які супроводжували великі запуски продуктів компанії. Причиною звільнення він назвав підхід OpenAI до розвитку та перевірки систем штучного інтелекту.
Робінсон звернув увагу на практику, яку OpenAI називає «ітеративним розгортанням». Компанія запускає системи, виявляє проблеми під час їхньої роботи та після цього посилює захисні механізми. На думку Робінсона, такий підхід передбачає періодичні помилки, а їхні можливі наслідки зростають разом із можливостями ШІ.
Як один із прикладів він навів нещодавній інцидент із системами Hugging Face за участю ШІ-агентів OpenAI. Робінсон вважає, що компаніям, які розробляють найпотужніші моделі ШІ, потрібно будувати процеси безпеки за принципами сфер із високою відповідальністю — з кількома рівнями контролю, резервними механізмами та ретельним плануванням.
За його словами, за час роботи в OpenAI він не зустрічав серед колег спеціалістів із досвідом побудови систем безпеки в авіації, атомній енергетиці чи фінансовій сфері.
За словами Пусатері, компанія також стежить, щоб можливості моделей не перевищували рівень, який OpenAI може безпечно контролювати. За потреби компанія може призупинити навчання або відкласти запуск моделі.
Робінсон також закликав приділяти більше уваги тому, наскільки поведінка ШІ відповідає людським цінностям. На його думку, наявні методи оцінювання цього показника залишаються недостатньо точними.
Він додав, що під час роботи команда постійно зосереджувалася на поточних задачах, тому мала мало часу для перегляду загального підходу до безпеки. Через це Робінсон вважає важливими зовнішні стимули та вимоги, які спонукатимуть компанії приділяти більше уваги контролю ризиків.
Джерело: TechCrunch
