OpenAI представила Ultrafast — новий режим для GPT-5.6 Sol, який прискорює роботу моделі до 14 разів порівняно зі стандартним режимом. Він може генерувати до 750 вихідних токенів за секунду.
Токени — це частини тексту, які модель опрацьовує та генерує під час відповіді. Вища швидкість їхньої генерації скорочує час очікування, особливо коли GPT-5.6 Sol має створити велику відповідь або виконати завдання з кількох етапів.
Для роботи Ultrafast OpenAI використовує обчислювальну інфраструктуру виробника чипів Cerebras. За словами компанії, раніше для отримання відповідей у реальному часі часто доводилося використовувати менші або спеціалізовані моделі. Ultrafast має дати змогу зберегти можливості GPT-5.6 Sol і водночас значно скоротити час виконання завдань.
OpenAI називає серед можливих сценаріїв використання Ultrafast підтримку клієнтів, аналіз фінансових ринків, реагування на технічні збої та ecommerce. У цих сферах швидкість відповіді ШІ може безпосередньо впливати на час виконання робочих процесів.
Наразі OpenAI запустила Ultrafast у попередньому доступі для обмеженої групи клієнтів. Компанія планує поступово відкривати режим для більшої кількості клієнтів у міру збільшення доступних обчислювальних потужностей.
Запуск Ultrafast важливий не лише через швидші відповіді ChatGPT. Якщо OpenAI зможе масштабувати режим, потужні моделі стане простіше використовувати у процесах, де затримка досі була обмеженням: підтримці клієнтів, аналітиці, ecommerce та автоматизованій роботі з великими обсягами інформації.
Водночас Ultrafast поки перебуває на етапі попереднього доступу, тому оцінити його практичний вплив можна буде після ширшого запуску.
Джерело: TechCrunch
