Оксфордське дослідження: медичні ШІ-боти не допомагають діагностувати проблеми

Все більше людей шукають поради щодо здоровʼя у чатботів, але нове дослідження Oxford Internet Institute показало, що така допомога не завжди корисна.

У дослідженні взяли участь понад 1300 людей з Великої Британії. Їм надали змодельовані медичні ситуації, і частина учасників мала діяти за допомогою GPT-4, LLaMA 3 або Command R+, а інші — покладалися на власні знання або онлайн-пошук.

Результати виявились тривожними:

• Ті, хто користувався чатботами, не визначали діагнози точніше, ніж ті, хто діяв самостійно.
• 40% учасників, які покладались на чатбот, недооцінили серйозність симптомів.
• У багатьох випадках чатботи давали змішані поради — правильні й помилкові одночасно.

Основна причина — не технічні обмеження ШІ, а якість запитів, які вводили люди. Учасники часто пропускали важливу інформацію, а чатботи не уточнювали деталей. Це призводило до неточних або ризикованих рекомендацій.

Автори дослідження наголошують: медичні чатботи мають проходити перевірки в реальних умовах, як і ліки. Поточні способи тестування ШІ не враховують, як саме з ним спілкуються люди.

Проте великі компанії продовжують впроваджувати ШІ в медицину:

• Apple готує асистента для порад зі сну, дієти та фізичної активності.
• Amazon працює над аналізом медичних баз даних.
• Microsoft допомагає лікарям сортувати повідомлення від пацієнтів.

Однак American Medical Association застерігає лікарів від використання чатботів у клінічних рішеннях. Компанії, включно з OpenAI, також зазначають, що їхні моделі не призначені для діагностування.

Джерело: TechCrunch