
Вибір штучного інтелекту, який добре розуміє та генерує український текст, стає все актуальнішим для бізнесу, держустанов і звичайних користувачів. Поки в Україні затягується запуск державної моделі «Сяйво», приватний сектор і міжнародні гіганти вже пропонують різні рішення. Але як зрозуміти, хто з них дійсно розуміє українську, а хто просто використовує машинний переклад? На щастя, в Україні з’явився відкритий лідерборд для порівняння великих мовних моделей (LLM) за якістю роботи з українською мовою. Його запустили розробники Lapa LLM у співпраці з командою MamayLM на базі бенчмарків, які використовували під час розробки.
Як вимірюють розуміння української мови ШІ
Платформа перевіряє моделі на завданнях, наближених до реального використання: перекладі, переказі та стислому викладі текстів, поширенні інформації в документах, логічних задачах, математиці та тестах на рівні ЗНО. Тестування поділяється на два блоки:
- Блок А: Завдання з датасетів, що мають еталонні відповіді. Сюди входять питання на вибір правильного варіанту, виправлення помилок у тексті та переклад.
- Блок V: Автоматичні перевірки генерації тексту. Тут оцінюють наявність лексичних і синтаксичних кальок (русизмів чи англіцизмів), використання специфічно українських елементів (кличний відмінок, частки «ж», «бо», «адже», «невже», «хіба») та якість токенізації.
Цей підхід дозволяє оцінити не лише формальну правильність, а й «живість», природність мови, що важливо для маркетингу та комунікації.
Рейтинг мовних моделей за розумінням української
Станом на січень 2026 року, за результатами тестування, лідери виглядають так:
| Ранг | Модель | ELO-рейтинг | Нагорода |
|---|---|---|---|
| 1 | GPT-5.2 | 1726 | 🥇 |
| 2 | Claude Opus 4.5 | 1722 | 🥇 |
| 3 | Gemini 3 Flash | 1681 | 🥇 |
| 4 | Gemini 3 Pro | 1593 | 🥈 |
| 5 | Claude Sonnet 4.5 | 1553 | 🥈 |
| 6 | MamayLM (Gemma 12B) | 1503 | 🥈 |
| 7 | Gemma-27B | 1422 | ⚠️ |
| 8 | Lapa v0.1.2 | 1393 | ⚠️ |
| 9 | Claude Haiku 4.5 | 1367 | ⚠️ |
ELO-рейтинг показує загальну ефективність моделі у вирішенні різноманітних завдань українською. Однак лідер за рейтингом — не завжди лідер за чистотою мови.
Чистота мови: хто уникає кальок і русизмів
Ключовий параметр для тих, кому важлива якісна українська — наявність кальок. Ось як виглядають моделі за цим показником (кількість кальок на 1000 токенів):
| Модель | Кальки (русизми) | Англіцизми | Українські маркери |
|---|---|---|---|
| Claude Opus 4.5 | 0.0 | 0.0 | 6.0 |
| Gemma-27B | 1.0 | 0.0 | 4.5 |
| Gemini 3 Pro | 1.6 | 0.0 | 9.3 |
| MamayLM | 1.6 | 0.0 | 7.3 |
| Claude Sonnet 4.5 | 1.8 | 0.0 | 6.3 |
| Gemini 3 Flash | 2.3 | 0.0 | 13.0 |
| GPT-5.2 | 6.0 | 0.0 | 6.9 |
| Lapa v0.1.2 | 7.0 | 0.0 | 4.8 |
Як видно з таблиці, Claude Opus 4.5 демонструє абсолютно чисту мову без жодних кальок, що робить його ідеальним для офіційних документів. Натомість Gemini 3 Flash хоча і має невелику кількість русизмів, але генерує найбільш «живу», розмовну українську мову з великою кількістю нативних маркерів.
Яку модель обрати для різних завдань
Вибір найкращої моделі залежить від вашого конкретного завдання. Розробники лідерборду дають такі практичні рекомендації:
| Сценарій використання | Рекомендована модель | Обґрунтування |
|---|---|---|
| Офіційні документи, юридичні тексти | Claude Opus 4.5 | Нуль кальок, найчистіша і найформальніша мова |
| Контент-маркетинг, блоги, креативні тексти | Gemini 3 Flash | Багато маркерів живої мови, мало кальок |
| Бюджетні рішення / локальний запуск | MamayLM | Найкраща українська серед open-source моделей, можливість запуску на власному сервері |
Українські розробки: MamayLM та Lapa LLM
Важливо відзначити прогрес вітчизняних розробок. Модель MamayLM на базі Gemma-3-12B посіла 6-те місце в загальному заліку, отримавши «срібло» та обігнавши деякі імпортні аналоги. Нова версія моделі, побудована на архітектурі Gemma 3 від Google, доступна у версіях із 12 і 27 млрд параметрів. Для українських організацій її розробники пропонують безкоштовний локальний хостинг, що критично важливо для обробки конфіденційних даних.
Інша українська модель — Lapa LLM — також представлена в лідерборді. Обидві ці моделі використовують модифікований токенізатор, покликаний покращити роботу з українською мовою.
Чому існують проблеми та що чекати в майбутньому
Історично проблема поганого розуміння української мови міжнародними моделями (як-от ChatGPT) полягала в тому, що їх навчали на даних з переважною часткою англійської мови, а українську часто оцінювали через машинний переклад. Ситуація поступово змінюється, але поки що найкращі результати показують моделі, спеціально оптимізовані для мультилінгвальності, як-от Gemma від Google.
Розробники лідерборду планують його розширювати: додавати моделі від OpenAI, Anthropic та Google, оцінювати квантовані версії LLM та впроваджувати перевірку етичного вирівнювання моделей. Крім текстових моделей, розвиваються й голосові технології. Український стартап Respeecher вже запустив Text-to-Speech сервіс, який дозволяє створювати аудіо українською без «пластмасового» акценту, включно з діалектами та суржиком.
Часті запитання
Чи можна довіряти українським моделям, як-от MamayLM? Так, модель MamayLM показала гідний результат, посівши 6-те місце в загальному рейтингу та отримавши «срібло». Вона є хорошою альтернативою для бюджетних рішень або випадків, коли потрібен локальний запуск на власному сервері для забезпечення безпеки даних.
Яка модель найкраще підійде для ведення блогу українською? Для контент-маркетингу та креативних текстів найкраще показала себе модель Gemini 3 Flash. Вона генерує «живу», розмовну українську мову з великою кількістю природних маркерів, маючи при цьому низький рівень кальок.
Чи є сенс чекати на державну модель «Сяйво»? «Сяйво» поки що знаходиться в стані розробки. Паралельно приватний сектор вже пропонує конкурентоспроможні рішення (MamayLM, Lapa LLM). Вибір залежить від конкретних потреб: державна модель може бути більш орієнтованою на внутрішні державні стандарти, тоді як приватні швидше реагують на ринкові вимоги.
Джерела
- В Україні створили рейтинг ШІ-моделей — оцінюють, як добре вони знають українську | DOU
- Вимір якості української мови у сучасних LLM | DOU
- Запустили відкритий лідерборд для порівняння роботи LLM з українською мовою | DOU
- Чому Gemma знає українську краще за інших та коли лусне бульбашка LLM. Інтерв’ю з керівником LapaLLM | DOU
- Чому ChatGPT погано розуміє українську? — Forbes.ua
- MamayLM, Lapa LLM і 'Сяйво': чим відрізняються ці ШІ і для яких завдань бізнесу вони підходять | Новини України | LIGA.net
- Український аналог ChatGPT став потужнішим, але не без недоліків
- Respeecher навчатиме ШІ агентів та чат-боти розмовляти живою українською і навіть суржиком — Forbes.ua