Anthropic повідомила, що Claude виконує більшу частину роботи у 26% завдань компанії, повʼязаних із дослідженням і розробкою ШІ. У таких випадках фахівець ставить завдання на високому рівні, Claude виконує основну роботу від початку до кінця, а людина контролює процес.
Водночас Claude бере участь у понад 90% дослідницьких завдань Anthropic. До цього показника входять і 26% завдань, де система виконує більшу частину роботи. В інших випадках Claude бере на себе окремі значні етапи під керівництвом фахівців.
Anthropic уточнила, що Claude поки не працює повністю самостійно в жодній із категорій досліджень і розробки ШІ, які компанія вимірювала.
Компанія також пропонує вимірювати рівень контролю за ШІ-агентами: яку частину їхніх дій перевіряють люди, скільки часу займає така перевірка та як часто системи фіксують потенційно проблемну поведінку.
Третій показник стосується обчислювальних ресурсів, які компанії спрямовують на дослідження та розробку ШІ. Anthropic вважає, що ці дані разом із показниками автоматизації та контролю допоможуть краще відстежувати темпи розвитку систем.
Компанія пропонує іншим розробникам передових моделей використовувати подібні показники та залучати незалежних експертів для перевірки даних. Такий підхід може дати дослідникам і суспільству більше інформації про те, наскільки ШІ вже бере участь у створенні наступних поколінь ШІ-систем.
Джерело: Engadget
