В начале 2026 года OpenAI представила сервис под названием ChatGPT Health, разработанный для анализа медицинских данных пользователей и предоставления рекомендаций по вопросам здоровья. Несмотря на официальное предупреждение о том, что данная система не предназначена для постановки диагнозов или назначения лечения, независимая экспертиза, результаты которой были опубликованы в научном журнале Nature Medicine, выявила ряд существенных проблем в области безопасности её использования.Группа исследователей, представляющая медицинский комплекс Mount Sinai Hospital, провела углубленное стресс-тестирование ChatGPT Health. В рамках исследования было смоделировано 60 клинических сценариев, охватывающих 21 различную медицинскую область. Выяснилось, что более чем в половине случаев, когда клиническая картина требовала немедленной госпитализации, искусственный интеллект (ИИ) рекомендовал пользователям остаться дома или записаться на приём к врачу. Это указывает на то, что система игнорировала ключевые признаки состояний, представляющих угрозу для жизни.Особую опасность выявило влияние косвенных, так называемых "социальных" факторов в пользовательских запросах. Например, если в описании ситуации присутствовали комментарии от "родственников" или "друзей", указывающие на якобы несерьёзность происходящего, вероятность выдачи ошибочной рекомендации увеличивалась в 12 раз. Парадоксально, но при этом в 64% случаев, не требующих экстренного вмешательства, ChatGPT Health, наоборот, предлагал немедленно обратиться в приёмное отделение клиники.Учёные дали такому поведению системы крайне жёсткую оценку, назвав подобные ошибки "невероятно опасными". Они предупреждают о высоком риске формирования у пользователей ложного чувства безопасности, что может привести к серьёзным негативным последствиям. Представители OpenAI, в свою очередь, заявили, что продолжают работу над усовершенствованием своих моделей. Тем не менее, результаты проведённого исследования поднимают острые вопросы касательно юридической ответственности компании в случае неверных рекомендаций.Стоит отметить, что проблемы с точностью медицинских консультаций, предоставляемых ИИ-сервисами, не являются уникальными для ChatGPT Health. Аналогичные недостатки были зафиксированы и у других систем, включая Google AI Overviews. Исследователи акцентируют внимание на том, что для массового внедрения подобных технологий требуется внедрение строгих механизмов контроля, обеспечение полной прозрачности работы алгоритмов и проведение регулярных независимых оценок их эффективности и безопасности.