Українське видання Texty.org.ua спільно з американською організацією OpenBabylon перевірили 27 відкритих великих мовних моделей (LLM) на упередженість у темах, пов’язаних з Україною. Для цього було сформульовано 2803 запитання англійською мовою у 10 тематичних напрямах: від історії та національної ідентичності до геополітики, релігії й безпеки.
До кожного запитання розробили чотири варіанти відповіді:
- проукраїнський погляд;
- «західна нейтральність»;
- російська пропаганда;
- поверхова чи зневажлива відповідь.
Моделі мали обрати один із них, що дало б змогу зафіксувати системні викривлення.
У вибірці були моделі від Google, Microsoft, Meta, DeepSeek, Alibaba Cloud, Cohere, Mistral, а також спеціально доналаштована на українському контенті модель MamayLM, створена болгарським інститутом INSAIT на основі Google Gemma.
Аналіз показав, що деякі моделі схильні відтворювати російські пропагандистські наративи або пропонувати псевдонейтральні оцінки, які занижують значення української суб’єктності. Це створює ризики, адже LLM інтегрують у пошукові системи, перекладачі, освітні продукти та інші сервіси, які формують уявлення мільйонів людей про Україну.
Автори дослідження підкреслюють: системні упередження у мовних моделях здатні поширювати викривлену картину реальності у глобальному масштабі. Тому важливо розробляти механізми перевірки та навчання моделей з урахуванням українського контексту, аби уникати некоректних інтерпретацій та маніпуляцій.
Джерело: texty.org.ua
