ШІ українською мовою: рейтинг сервісів за якістю розуміння

ШІ українською мовою: рейтинг сервісів за якістю розуміння

Вибір штучного інтелекту, який добре розуміє та генерує український текст, стає все актуальнішим для бізнесу, держустанов і звичайних користувачів. Поки в Україні затягується запуск державної моделі «Сяйво», приватний сектор і міжнародні гіганти вже пропонують різні рішення. Але як зрозуміти, хто з них дійсно розуміє українську, а хто просто використовує машинний переклад? На щастя, в Україні з’явився відкритий лідерборд для порівняння великих мовних моделей (LLM) за якістю роботи з українською мовою. Його запустили розробники Lapa LLM у співпраці з командою MamayLM на базі бенчмарків, які використовували під час розробки.

Як вимірюють розуміння української мови ШІ

Платформа перевіряє моделі на завданнях, наближених до реального використання: перекладі, переказі та стислому викладі текстів, поширенні інформації в документах, логічних задачах, математиці та тестах на рівні ЗНО. Тестування поділяється на два блоки:

  • Блок А: Завдання з датасетів, що мають еталонні відповіді. Сюди входять питання на вибір правильного варіанту, виправлення помилок у тексті та переклад.
  • Блок V: Автоматичні перевірки генерації тексту. Тут оцінюють наявність лексичних і синтаксичних кальок (русизмів чи англіцизмів), використання специфічно українських елементів (кличний відмінок, частки «ж», «бо», «адже», «невже», «хіба») та якість токенізації.

Цей підхід дозволяє оцінити не лише формальну правильність, а й «живість», природність мови, що важливо для маркетингу та комунікації.

Рейтинг мовних моделей за розумінням української

Станом на січень 2026 року, за результатами тестування, лідери виглядають так:

РангМодельELO-рейтингНагорода
1GPT-5.21726🥇
2Claude Opus 4.51722🥇
3Gemini 3 Flash1681🥇
4Gemini 3 Pro1593🥈
5Claude Sonnet 4.51553🥈
6MamayLM (Gemma 12B)1503🥈
7Gemma-27B1422⚠️
8Lapa v0.1.21393⚠️
9Claude Haiku 4.51367⚠️

ELO-рейтинг показує загальну ефективність моделі у вирішенні різноманітних завдань українською. Однак лідер за рейтингом — не завжди лідер за чистотою мови.

Чистота мови: хто уникає кальок і русизмів

Ключовий параметр для тих, кому важлива якісна українська — наявність кальок. Ось як виглядають моделі за цим показником (кількість кальок на 1000 токенів):

МодельКальки (русизми)АнгліцизмиУкраїнські маркери
Claude Opus 4.50.00.06.0
Gemma-27B1.00.04.5
Gemini 3 Pro1.60.09.3
MamayLM1.60.07.3
Claude Sonnet 4.51.80.06.3
Gemini 3 Flash2.30.013.0
GPT-5.26.00.06.9
Lapa v0.1.27.00.04.8

Як видно з таблиці, Claude Opus 4.5 демонструє абсолютно чисту мову без жодних кальок, що робить його ідеальним для офіційних документів. Натомість Gemini 3 Flash хоча і має невелику кількість русизмів, але генерує найбільш «живу», розмовну українську мову з великою кількістю нативних маркерів.

Яку модель обрати для різних завдань

Вибір найкращої моделі залежить від вашого конкретного завдання. Розробники лідерборду дають такі практичні рекомендації:

Сценарій використанняРекомендована модельОбґрунтування
Офіційні документи, юридичні текстиClaude Opus 4.5Нуль кальок, найчистіша і найформальніша мова
Контент-маркетинг, блоги, креативні текстиGemini 3 FlashБагато маркерів живої мови, мало кальок
Бюджетні рішення / локальний запускMamayLMНайкраща українська серед open-source моделей, можливість запуску на власному сервері

Українські розробки: MamayLM та Lapa LLM

Важливо відзначити прогрес вітчизняних розробок. Модель MamayLM на базі Gemma-3-12B посіла 6-те місце в загальному заліку, отримавши «срібло» та обігнавши деякі імпортні аналоги. Нова версія моделі, побудована на архітектурі Gemma 3 від Google, доступна у версіях із 12 і 27 млрд параметрів. Для українських організацій її розробники пропонують безкоштовний локальний хостинг, що критично важливо для обробки конфіденційних даних.

Інша українська модель — Lapa LLM — також представлена в лідерборді. Обидві ці моделі використовують модифікований токенізатор, покликаний покращити роботу з українською мовою.

Чому існують проблеми та що чекати в майбутньому

Історично проблема поганого розуміння української мови міжнародними моделями (як-от ChatGPT) полягала в тому, що їх навчали на даних з переважною часткою англійської мови, а українську часто оцінювали через машинний переклад. Ситуація поступово змінюється, але поки що найкращі результати показують моделі, спеціально оптимізовані для мультилінгвальності, як-от Gemma від Google.

Розробники лідерборду планують його розширювати: додавати моделі від OpenAI, Anthropic та Google, оцінювати квантовані версії LLM та впроваджувати перевірку етичного вирівнювання моделей. Крім текстових моделей, розвиваються й голосові технології. Український стартап Respeecher вже запустив Text-to-Speech сервіс, який дозволяє створювати аудіо українською без «пластмасового» акценту, включно з діалектами та суржиком.

Часті запитання

Чи можна довіряти українським моделям, як-от MamayLM? Так, модель MamayLM показала гідний результат, посівши 6-те місце в загальному рейтингу та отримавши «срібло». Вона є хорошою альтернативою для бюджетних рішень або випадків, коли потрібен локальний запуск на власному сервері для забезпечення безпеки даних.

Яка модель найкраще підійде для ведення блогу українською? Для контент-маркетингу та креативних текстів найкраще показала себе модель Gemini 3 Flash. Вона генерує «живу», розмовну українську мову з великою кількістю природних маркерів, маючи при цьому низький рівень кальок.

Чи є сенс чекати на державну модель «Сяйво»? «Сяйво» поки що знаходиться в стані розробки. Паралельно приватний сектор вже пропонує конкурентоспроможні рішення (MamayLM, Lapa LLM). Вибір залежить від конкретних потреб: державна модель може бути більш орієнтованою на внутрішні державні стандарти, тоді як приватні швидше реагують на ринкові вимоги.

Теги: 
штучний інтелект
українська мова
мовні моделі
чат-боти
технології