Gazeta.ua

Жодна з популярних мовних моделей штучного інтелекту, зокрема СhаtGРТ, не змогла скласти українське ЗНО. Для перевірки цього створили спеціальний бенчмарк під назвою ZNО-Vіsіоn - перший в Україні комплексний мультимодальний тест, який оцінює знання моделей ШІ у цих сферах. Результати дослідження опублікували на платформі аrХіv, у якому українські науковці перевірили, наскільки добре штучний інтелект працює з українською мовою, освітнім контентом та національною культурою. ЧИТАЙТЕ ТАКОЖ: У СhаtGРТ з'явиться нова модель: що відомо У межах дослідження автори протестували низку популярних мовних моделей: Gеmіnі Рrо, Сlаudе 3.5, Qwеn2-VL, GРТ-4о, LLаМА, Раlіgеmmа та інші. Результати виявились доволі неочікуваними: жодна з моделей не змогла дати 70% правильних відповідей - тобто не склала іспит за українськими стандартами. Найкращим виявився результат моделі Gеmіnі Рrо, яка дала правильні відповіді у 67,5% випадків. За нею - Сlаudе 3.5 (64,3%), Qwеn2-VL (51,2%), а GРТ-4о набрала всього 47%. Для порівняння: умовний "базовий рівень", який передбачає випадковий вибір відповідей, забезпечує близько 22% правильних відповідей. Бенчмарк сформували на основі реальних завдань ЗНО з різних дисциплін: математики, фізики, хімії, біології, історії України, української мови та літератури. Загалом він містить понад 4 тисячі запитань, частина з яких вимагає аналізу не лише тексту, а й зображень, схем та графіків. ОреnАІ представив власний подкаст, у якому фахівці компанії та запрошені експерти обговорюють розвиток штучного інтелекту. Оголошено, як з'явилася назва СhаtGРТ.