Discord помилково заблокував понад 8 тисяч акаунтів через збій у ШІ-модерації
Discord підтвердив, що через помилку в системі модерації на базі штучного інтелекту безпідставно заблокував понад 8 тисяч акаунтів за останні два місяці. Під блокування потрапили користувачі, які завантажували звичайні зображення: електронні таблиці, шахові дошки, текстури для ігор, а також білі чи сірі прозорі фони.
Компанія повідомила, що проблема виникла у травні. До моменту її усунення минулими вихідними система встигла заблокувати ще близько 200 акаунтів. Зараз Discord відновлює всі профілі, яких торкнулася помилка.
За словами компанії, система безпеки порівнює завантажені файли з базами відомих незаконних матеріалів. Такий підхід допомагає знаходити небезпечний контент, але іноді створює хибні спрацьовування. У звичайному режимі після автоматичної перевірки рішення має підтвердити співробітник команди Trust & Safety, однак через програмний збій акаунти блокували ще до завершення перевірки.
Після інциденту на X і Reddit користувачі почали повідомляти, що отримували довічне блокування лише через зображення з квадратними сітками. Деякі припустили, що система стала надто чутливою до таких шаблонів, оскільки їх раніше використовували для приховування матеріалів сексуальної експлуатації дітей від автоматичних систем виявлення.
Частина користувачів наголосила, що автоматичне блокування без належної перевірки може мати серйозні наслідки. Для багатьох Discord є основним інструментом робочого спілкування, координації ігрових спільнот або підтримання зв’язку з друзями й родиною.
Це не перший випадок, коли автоматична модерація помилково обмежує доступ до акаунтів. У 2025 році користувачі Instagram і Facebook Groups масово повідомляли про незрозумілі блокування, які пов’язували з роботою систем на базі ШІ. Тоді Meta не підтвердила офіційно, що причиною стали помилки штучного інтелекту, однак згодом її Наглядова рада закликала компанію підвищити прозорість модерації. Аналогічні скарги торік також надходили від користувачів Tumblr.
Джерело: TechCrunch
