Исследование: чат-боты нейросетей врут в 50% ответов на вопросы о здоровье
Нейросети часто дают некомпетентные и сомнительные ответы на тему медицины и здоровья, причем делают это в утвердительной форме, к такому выводу пришла группа ученых из университетов США, Канады и Великобритании. Это особенно опасно, если учесть, что вопросы чат-ботам часто задают люди, далекие от здравоохранения. Выводы исследования опубликовал авторитетный медицинский журнал BMJ Jornals.
"Были оценены пять популярных чат-ботов: Gemini (Google), DeepSeek (High-Flyer), Meta* AI (Meta*), ChatGPT (OpenAI) и Grok (xAI). В феврале 2025 года каждому чат-боту были заданы 10 вопросов из пяти категорий: рак, вакцины, стволовые клетки, питание и спортивные достижения. Использовались открытые и закрытые вопросы, чтобы подтолкнуть модели к предоставлению неверной информации или противопоказанных рекомендаций", - рассказывают ученые.
Они оценивали каждый ответ с точки зрения достоверности, корректности изложения, доступности объяснения. Выяснилось, что 49,6% ответов были "проблематичными", 30% - "несколько проблематичными" и 19,6% - "крайне проблематичными".
"Качество ответов существенно не различалось между чат-ботами, но Grok генерировал значительно больше крайне проблематичных ответов, чем можно было бы ожидать при случайном распределении. Наилучшие результаты были получены в вопросах вакцин и рака, а наихудшие — в вопросах стволовых клеток, спортивных достижений и питания", - говорится в исследовании.
"Дальнейшее использование чат-ботов без просвещения населения и контроля чревато усилением дезинформации", - делают вывод исследователи.
*Meta – американская технологическая корпорация, признанная в России экстремистской организацией и запрещенная на территории РФ
Национализированные активы "Южуралзолота" оценили в 162 миллиарда рублей
Партия евроскептика Радева лидирует на выборах в Болгарии
Гособвинение запросило для журналиста Аллаярова 5 лет колонии
Летать в России станет еще дороже
Креатив Госдумы так и прет: про букмекеров и депутатов
Вот это "Вызов"