Nvidia відкрила доступ до технології анімації обличчя на основі голосу

Nvidia відкрила доступ до своєї технології Audio2Face — інструмента, що перетворює голос у реалістичну анімацію обличчя для 3D-аватарів. Відтепер розробники можуть безкоштовно користуватися відкритим кодом програми та адаптувати її під власні проєкти.

Audio2Face працює, аналізуючи особливості голосу й відтворюючи відповідні рухи губ і міміку цифрового персонажа. Технологію можна застосовувати як у заздалегідь підготовленому контенті, так і під час прямих трансляцій.

Розробники вже використовували цей інструмент у своїх іграх. Зокрема, Farm51 застосувала його в проєкті Chernobylite 2: Exclusion Zone, а інші студії — у грі Alien: Rogue Incursion Evolved Edition.

Разом із кодом Nvidia надає програмні комплекти та навчальну платформу. Це дозволяє налаштовувати алгоритми під різні завдання й створювати нові рішення на основі Audio2Face. Компанія закликає спільноту долучатися до вдосконалення інструмента й ділитися результатами роботи.

Audio2Face вже інтегрували у свої продукти такі компанії, як Convai, Codemasters, GSC Game World, NetEase, Reallusion, Streamlabs та інші. Сфера застосування охоплює ігри, медіа, розваги, а також цифрові сервіси для взаємодії з клієнтами.

Джерело: TheVerge