Українські вчені протестували популярні моделі штучного інтелекту на завданнях ЗНО, проте жодна з них не змогла подолати поріг у 70% правильних відповідей.
Дослідження, про яке повідомляє dev.ua, проводилося з використанням тесту ZNOVision — першого багатоформатного інструменту, що перевіряє здатність ШІ працювати з українською мовою, навчальними матеріалами і культурним контекстом.
ZNOVision містить понад 4300 завдань у 13 напрямках, серед яких математика, фізика, література та історія. Тестування охопило шість провідних моделей: GPT4o, Claude 3.5 Sonnet, Gemini 1.5 Pro, Qwen2VL72B, Paligemma3B та PaligemmaFT. Найкращий результат — 67,5% — показала модель Gemini Pro, тоді як GPT4o набрав лише 47%.
Основні труднощі виникли при обробці завдань із візуально-текстовими елементами: штучний інтелект часто не впізнавав українські слова на зображеннях, плутав одиниці виміру та пропускав частини формулювань. У категорії візуальних завдань з українською мовою моделі показали від 26,7% до 34,4% правильних відповідей, що значно нижче за результати англомовних тестів.
Для порівняння, офіційні дані ЗНО-2021 в Україні свідчать, що понад 90% учасників успішно склали основні предмети, такі як українська мова, література, географія та біологія, а математику здали майже 69% випускників.
