Український телекомунікаційний портал

ОреnАІ почала тестування нового режиму роботи АРІ під назвою Ultrаfаst, який може суттєво прискорити роботу моделі GРТ-5.6 Sоl. За даними компанії, система здатна генерувати до 750 токенів за секунду, що робить її однією з найшвидших реалізацій великої мовної моделі на сьогодні.



Прискорення стало можливим завдяки співпраці з компанією Сеrеbrаs, яка спеціалізується на високопродуктивних обчисленнях для штучного інтелекту. Поки що Ultrаfаst доступний лише в обмеженому режимі для окремих корпоративних клієнтів АРІ.



ОреnАІ розглядає цей режим не як черговий рекорд у бенчмарках, а як спосіб зробити потужні моделі придатними для справді інтерактивних сценаріїв. Серед можливих застосувань — аналіз системних журналів під час збоїв, фінансовий моніторинг у реальному часі, голосові помічники без помітних пауз, складний клієнтський сервіс та швидша обробка запитів в інтернет-магазинах.



Компанія також використовує Ultrаfаst усередині власних команд. Розробники тестують його для аналізу логів, трасувань і робочих комунікацій, а дослідники — для прискорення експериментів, результати яких раніше доводилося чекати значно довше.



Якщо заявлена швидкість підтвердиться у широкому використанні, це може помітно змінити сприйняття штучного інтелекту: замість відчуття «запит — очікування — відповідь» взаємодія з великими моделями стане набагато ближчою до звичайної людської розмови.