ИИ решил сыграть во врача: один совет ChatGPT превратил заботу о здоровье в токсичный бред

Всё чаще люди доверяют своё здоровье искусственному интеллекту, но один клинический случай из США напомнил, что технологии — не врачи. Новое исследование, опубликованное в журнале Annals of Internal Medicine: Clinical Cases, описывает историю мужчины, который после совета ChatGPT довёл себя до тяжёлого психического расстройства.

Как всё началось

60-летний житель штата Вашингтон, не имевший в прошлом проблем со здоровьем, поступил в отделение неотложной помощи с жалобой на то, что его травит сосед. При осмотре врачи не обнаружили ничего подозрительного, кроме сильной жажды и отказа пить воду, предложенную персоналом.

"Он был параноиком в отношении предложенной ему воды", — говорится в исследовании.

С каждым днём его состояние ухудшалось: усиливались галлюцинации, появились слуховые и зрительные образы.

"В первые 24 часа после поступления у него усилилась паранойя, появились слуховые и зрительные галлюцинации", — отмечают авторы работы.

Вскоре мужчину пришлось госпитализировать в психиатрическое отделение.

Истинная причина — не сосед и не жажда

Обезвоживание действительно способно вызвать спутанность сознания, но врачи заметили, что за этим случаем стоит нечто более глубокое. После капельниц и анализов выяснилось, что пациент придерживался строгой вегетарианской диеты и страдал от дефицита витаминов C, B12 и фолиевой кислоты. Это объясняло слабость, бессонницу и кожные высыпания, о которых он упоминал. Однако основной источник беды оказался совсем в другом.

Невинный эксперимент, который зашёл слишком далеко

Мужчина решил улучшить своё питание и исключить "вредный хлорид натрия" — то есть обычную поваренную соль.

"Он рассказал, что, прочитав о негативном влиянии хлорида натрия, решил провести личный эксперимент и исключить хлорид из рациона", — говорится в публикации.

Звучит почти разумно, если не одно "но": он хотел убрать именно хлорид, а не натрий. Чтобы уточнить, чем заменить вещество, мужчина обратился к ChatGPT. Искусственный интеллект, по данным исследования, предложил вариант — натрий заменить на бромид.

"В течение трёх месяцев он заменял хлорид натрия бромидом натрия, который нашёл в интернете после консультации с ChatGPT", — объясняют врачи.

Когда ИИ путает кухню с лабораторией

Совет оказался губительным. Бромиды можно использовать для обработки бассейнов или огнезащитных покрытий, но никак не в еде.

"Хлор — один из основных минералов, необходимых организму в относительно больших количествах для поддержания здоровья", — поясняет Европейский совет по информации о продуктах питания.

Без хлора нарушается баланс электролитов, а избыток бромидов, наоборот, отравляет организм. Ещё в XX веке бромидные отравления были частой причиной психозов и неврологических расстройств, пока их не запретили в составе безрецептурных лекарств.

Что случилось с пациентом

Когда мужчину обследовали, уровень бромидов в его организме оказался около 1700 мг/л — в 233 раза выше нормы. Для сравнения: такой показатель может вызвать судороги, потерю ориентации и галлюцинации. Пациент жаловался на бессонницу, слабость, появление сыпи и даже потерю равновесия.

После трёх недель лечения и отказа от "самодельной соли" состояние мужчины улучшилось. Однако медики обеспокоены не столько самим случаем, сколько его причиной.

"Это показывает, что использование искусственного интеллекта может привести к предотвратимым негативным последствиям для здоровья", — отмечают авторы отчёта.

Когда совет из интернета становится опасным

Врачи предположили, что мужчина пользовался версией ChatGPT 3.5 или 4.0, и решили проверить ответ модели самостоятельно. Их результат подтвердил догадку.

"Когда мы спросили ChatGPT 3.5, чем можно заменить хлорид, мы также получили ответ, в котором упоминался бромид", — пишут исследователи.

ИИ добавил, что "контекст имеет значение", но не указал, что такая замена смертельно опасна, и не уточнил, зачем пользователю нужна эта информация.

"В ответе не было конкретных предупреждений о вреде для здоровья и уточняющих вопросов, как поступил бы медицинский работник", — подчёркивается в статье.

Сравнение: кто даёт советы надёжнее

Ошибка → Последствие → Альтернатива

• Ошибка: Использовать ИИ как замену врачу.
  Последствие: Получение некорректных советов, угрожающих жизни.
  Альтернатива: Проверять рекомендации у специалистов или официальных медицинских организаций.

• Ошибка: Экспериментировать с веществами без понимания химии.
  Последствие: Токсическое отравление и психоз.
  Альтернатива: Консультация с врачом перед изменением рациона.

• Ошибка: Верить, что "натуральное" всегда безопасно.
  Последствие: Попадание в больницу.
  Альтернатива: Критическое мышление и научные источники информации.

А что если ИИ начнёт спрашивать почему

Этот случай стал поводом для обсуждения того, как должны работать языковые модели, если пользователь обращается к ним с медицинским запросом. Учёные предлагают, чтобы ИИ умел различать потенциально опасные вопросы и уточнять цели пользователя. Если бы ChatGPT спросил мужчину, зачем он хочет "заменить хлорид", возможно, трагедии удалось бы избежать.

Плюсы и минусы использования ChatGPT в медицине

FAQ

Можно ли доверять ChatGPT медицинские советы?
Нет. ИИ не является сертифицированным источником медицинской информации и не заменяет врача.

Почему бромид опасен?
Он токсичен при регулярном употреблении. В больших дозах вызывает судороги, психозы и повреждения нервной системы.

Как избежать подобных ошибок?
Использовать официальные медицинские сайты, консультироваться с врачами, не следовать советам из чатов и форумов.

Мифы и правда

• Миф: Если совет дал ИИ, значит, он основан на науке.
  Правда: Алгоритм лишь собирает тексты, не оценивая достоверность.

• Миф: Искусственный интеллект не может ошибаться.
  Правда: Он часто выдаёт уверенные, но неверные ответы.

• Миф: Бромид безопасен в малых количествах.
  Правда: Даже низкие дозы накапливаются в организме и вызывают отравление.

Несколько фактов о бромиде и хлориде

1. Хлорид помогает поддерживать водно-солевой баланс и нормальную работу мышц.

2. Бромид раньше использовался в успокаивающих лекарствах, но из-за побочных эффектов его запретили.

3. Современные диетологи не рекомендуют полностью исключать соль — важно лишь сокращать её избыток.

История из Annals of Internal Medicine: Clinical Cases показывает, как сочетание любопытства и доверия к технологиям может превратиться в угрозу. Выводы исследователей дают повод задуматься: даже самые умные алгоритмы не способны заменить человеческий опыт, эмпатию и профессиональное суждение врача.