В Україні створили рейтинг ШІ-моделей — оцінюють, як добре вони знають українську
Go to dou.ua
Go to all channel newsВ Україні запустили платформу, де порівнянюють великі мовні моделі за якістю роботи з українською мовою — Ukrаіnіаn LLМ Lеаdеrbоаrd.
Про це повідомляють у Мінцифри. Результати тестування, код і дані відкрили на платформі Нuggіng Fасе — онлайн-сервісі для розробників, дослідників і користувачів, де зберігають, поширюють і тестують моделі штучного інтелекту та набори даних. Користувачі можуть самостійно порівнювати моделі та ознайомлюватися з методологією оцінювання.
Таблиця з результатами тестування конкретних моделей. Скриншот з Нuggіng Fасе
Автори проєкту кажуть, що досі розробникам доводилося орієнтуватися переважно на міжнародні тести та заяви самих компаній-розробників. Українську мову в таких тестах часто оцінювали через машинний переклад, тому реальні помилки моделей могли залишатися непомітними.
Платформа перевіряє моделі на завданнях, наближених до реального використання: перекладі, переказі та стислому викладі текстів, пошуку інформації в документах, логічних задачах, математиці та тестах на рівні ЗНО.
«Після появи великих мовних моделей було незрозуміло, як добре вони працюють для української мови: які їхні сильні та слабкі сторони, для яких завдань які моделі краще підходять, де досі є прогалини в якості роботи з українською», — каже аспірант УКУ та керівник розробки мовної моделі Lара Юрій Панів.
Рейтинг показує результати моделей не за одним показником, а за окремими тестами. Наприклад, модель може добре впоратися з питаннями українською, але показати гірший результат у перекладі.
Надалі команда планує додати тести для роботи із зображеннями, оцінювання етичності моделей та аналіз вартості їхнього використання українською. Окремо хочуть перевіряти моделі на роботі з адміністративними процедурами, нормативними текстами та персональними даними.
Платформу створили Центр компетенцій WІNWІN АІ при Мінцифрі спільно з УКУ та ініціативою lаng-uk.
Про це повідомляють у Мінцифри. Результати тестування, код і дані відкрили на платформі Нuggіng Fасе — онлайн-сервісі для розробників, дослідників і користувачів, де зберігають, поширюють і тестують моделі штучного інтелекту та набори даних. Користувачі можуть самостійно порівнювати моделі та ознайомлюватися з методологією оцінювання.
Таблиця з результатами тестування конкретних моделей. Скриншот з Нuggіng Fасе
Автори проєкту кажуть, що досі розробникам доводилося орієнтуватися переважно на міжнародні тести та заяви самих компаній-розробників. Українську мову в таких тестах часто оцінювали через машинний переклад, тому реальні помилки моделей могли залишатися непомітними.
Платформа перевіряє моделі на завданнях, наближених до реального використання: перекладі, переказі та стислому викладі текстів, пошуку інформації в документах, логічних задачах, математиці та тестах на рівні ЗНО.
«Після появи великих мовних моделей було незрозуміло, як добре вони працюють для української мови: які їхні сильні та слабкі сторони, для яких завдань які моделі краще підходять, де досі є прогалини в якості роботи з українською», — каже аспірант УКУ та керівник розробки мовної моделі Lара Юрій Панів.
Рейтинг показує результати моделей не за одним показником, а за окремими тестами. Наприклад, модель може добре впоратися з питаннями українською, але показати гірший результат у перекладі.
Надалі команда планує додати тести для роботи із зображеннями, оцінювання етичності моделей та аналіз вартості їхнього використання українською. Окремо хочуть перевіряти моделі на роботі з адміністративними процедурами, нормативними текстами та персональними даними.
Платформу створили Центр компетенцій WІNWІN АІ при Мінцифрі спільно з УКУ та ініціативою lаng-uk.
Go to dou.uaAbout news channel
DOU – Найбільша спільнота розробників України. Все про IT: цікаві статті, інтервʼю, розслідування, дослідження ринку, свіжі новини та події. Спілкування на форумі з айтівцями на найгарячіші теми та технічні матеріали від експертів. Вакансії, рейтинг IT-компаній, відгуки співробітників, аналітика зарплат і мов програмування.
All publications are taken from public RSS feeds in order to organize transitions for further reading of full news texts on the site.
Responsible: editorial office of the site dou.ua.