Google запустила для Gemini Live функцію, яка дозволяє через камеру смартфона аналізувати оточення та голосом пояснювати, що знаходиться перед людиною. Рішення насамперед створили для людей із порушеннями зору, однак Google також розглядає його як інструмент для ситуацій, коли потрібно швидко отримати інформацію про предмет або простір.
Функція отримала назву Guided Vision. Під час розмови з Gemini Live людина може увімкнути камеру й показати ШІ предмет або простір. Gemini описує побачене та відповідає на уточнювальні запитання.
Якщо потрібний об’єкт не потрапив у кадр, Gemini голосом підкаже, як перемістити смартфон: повернути його праворуч, опустити нижче або відійти далі. Це дозволяє вести діалог із ШІ без необхідності постійно дивитися на екран.
Серед практичних сценаріїв Google називає читання дрібного тексту на упаковках продуктів, меню та побутовій техніці. Gemini також може допомогти знайти навушник, що впав на підлогу, визначити потрібну банку зі спеціями або описати колір, форму й візерунок одягу.
Зокрема, людина може спрямувати камеру на товар і попросити Gemini прочитати інформацію на упаковці або пояснити окремі деталі. У такому сценарії зрозуміла структура етикетки, назва продукту, характеристики та інша доступна для камери інформація стають важливими не лише для людини, а й для системи, яка її аналізує.
Для ритейлу та ecommerce це також демонструє поступовий розвиток нового способу пошуку інформації про товари. Замість введення назви продукту людина може показати його камері та поставити запитання голосом. Водночас Google поки не заявляла про окремі комерційні можливості Guided Vision для брендів або продавців.
Guided Vision працює на пристроях з Android 9 і новішими версіями системи в країнах і мовах, де доступний Gemini Live. Запустити функцію можна через Gemini, спеціальні можливості Android або TalkBack.
Google наголошує, що система може помилятися. Компанія не рекомендує використовувати її для навігації, виявлення перешкод або замість спеціальних засобів для безпечного пересування.
Запуск важливий як приклад розвитку візуальної взаємодії з ШІ. Якщо подібні можливості поширюватимуться на більше сценаріїв Gemini, інформація на фізичних товарах і в офлайн-просторі дедалі частіше може ставати частиною діалогу людини з ШІ. Це додає брендам ще одну причину перевіряти, наскільки зрозуміло представлені назви, характеристики та інша інформація про продукт.
Джерело: TheVerge
