Google DeepMind представила модель Sign Language-to-Text (SL2T), яка перетворює жестову мову на текст. Вона стала доступною разом із серією Pixel 11 та працює у Gboard і Live.
Технологія дає змогу людям із порушеннями слуху використовувати жестову мову там, де раніше потрібно було вводити текст. Зокрема, за її допомогою можна шукати інформацію в інтернеті, писати повідомлення та спілкуватися з Gemini.
DeepMind навчала SL2T на понад 100 тисячах годин даних із різними жестовими мовами. Приблизно чверть матеріалів припадає на американську жестову мову (ASL), тому на момент запуску модель підтримує лише перетворення ASL на англійський текст. Google планує згодом додати інші мови та пристрої.
Модель також відрізняється від попередніх систем тим, що одразу перетворює дані про жести на текст. Вона не використовує проміжні текстові позначення окремих жестів. У DeepMind пояснюють, що пряме перетворення дає змогу враховувати рухи, просторові конструкції та інші особливості жестової мови.
За даними DeepMind, у світі понад 70 млн нечуючих людей і людей із порушеннями слуху спілкуються приблизно 200 жестовими мовами. Компанія навчала SL2T одразу на кількох мовах, щоб модель могла знаходити спільні закономірності між ними. Це має допомогти Google надалі розширювати мовну підтримку.
Джерело: Engadget
