ИИ-чатботы дают неверные медицинские советы в половине случаев

Исследователи, опубликовавшие результаты своей работы в BMJ Open, проанализировали эффективность пяти ведущих чат-ботов с ИИ в контексте предоставления медицинских рекомендаций. В тестировании участвовали ChatGPT, Gemini, DeepSeek, Grok и Meta AI. Сценарии проверки включали как узкоспециализированные запросы, так и вопросы открытого типа, требующие развернутых ответов.

Анализ точности ответов в зависимости от сложности запроса

Практика показала, что при работе с простыми, однозначными вопросами нейросетевые модели способны выдавать релевантную информацию. Однако по мере усложнения структуры запроса и его неоднозначности качество выдачи существенно снижается. Использование вопросов открытого типа — тех, где требуется детализированная аргументация, а не бинарный ответ — стало критической точкой роста ошибок. В отдельных сценариях модели генерировали рекомендации, которые не только содержали фактические неточности, но и несли потенциальную опасность для здоровья пользователя.

Проблема верификации данных и качества источников

Одной из проблем, выявленных в ходе исследования, стала работа моделей с цитированием. Качество ссылок на источники признано неудовлетворительным: ответы часто не сопровождаются корректной научной базой либо опираются на недостоверные данные. Проще говоря, отсутствие прозрачного механизма подтверждения информации (так называемый «галлюцинирующий» характер ответов) подрывает доверие к качеству предоставляемых медицинских рекомендаций.Результаты работы фиксируют серьезный разрыв между текущими возможностями генеративного ИИ и требованиями к безопасности в сфере здравоохранения. Хотя подобные инструменты могут служить справочным материалом для поиска общей информации, их использование в качестве замены профессиональной медицинской консультации сопряжено с рисками. Текущая ситуация требует от разработчиков усиления мер по обеспечению верифицируемости ответов и точности данных, особенно в задачах, напрямую влияющих на физическое состояние человека.*Компания Meta признана экстремистской организацией и запрещена в РФ