С такими врачами и врагов не надо: ИИ попался на простом подвохе — и обрушил доверие к себе

Искусственный интеллект всё чаще называют будущим медицины, но дискуссии вокруг его возможностей и ограничений только усиливаются. Поводом для нового витка обсуждений стало заявление пионера Google в области ИИ Джада Тарфи, который в интервью Business Insider предположил, что получение медицинского образования теряет смысл, ведь технологии вскоре могут заменить врачей.

Однако реальная ситуация куда сложнее. Да, алгоритмы уже помогают специалистам в расшифровке медицинских изображений и снижении административной нагрузки, но их текущие ограничения ставят под сомнение готовность заменить человека.

ИИ в медицине: возможности и риски

Современные системы способны анализировать огромные массивы данных и предлагать решения быстрее любого врача. Но у этой скорости есть оборотная сторона — так называемые "галлюцинации" ИИ, когда машина выдаёт неверные рекомендации. Кроме того, врачи, чрезмерно полагающиеся на технологии, могут терять критическое мышление.

Недавнее исследование, опубликованное в журнале JAMA Network Open и описанное PsyPost, показало: даже самые передовые модели, такие как GPT-4 от OpenAI или Claude 3.5 Sonnet от Anthropic, теряют эффективность при минимальном изменении условий тестирования. Это ставит под сомнение их готовность к использованию в реальных клинических сценариях.

Как проверяли искусственный интеллект

Учёные решили выяснить, как именно языковые модели находят ответы. Вместо понимания сути медицинских терминов они прогнозируют вероятность следующего слова. Чтобы проверить их устойчивость, исследователи модифицировали стандартные экзаменационные вопросы, заменив правильный вариант ответа на "ни один из предложенных".

Результаты оказались показательными: точность GPT-4 снизилась на 25%, а у Llama от Meta падение достигло почти 40%. По мнению специалистов, это указывает на чрезмерную зависимость от распознавания паттернов, а не на наличие реальных навыков логического мышления.

"У нас есть ИИ-модели, показывающие почти идеальную точность на экзаменационных вопросах", — сказала студентка Стэнфорда и соавтор исследования Сугана Беди. — "Но это не отражает реальность клинической практики".

Таким образом, эксперимент ясно показал: даже самые продвинутые модели не способны стабильно справляться с задачами, требующими настоящего клинического мышления. Это подтверждает, что их сильные результаты в тестах нельзя напрямую переносить на реальные медицинские ситуации.

Почему врачи по-прежнему необходимы

Исследователи отмечают, что менее 5% работ в этой области оценивают модели на основе реальных данных пациентов. А ведь именно такие данные — фрагментарные, неструктурированные, с множеством нюансов — и являются основой клинической работы.

"Большинство моделей столкнулись с трудностями в задачах поддержки решений", — подчеркнула Беди.

Это означает, что на данном этапе ИИ стоит использовать как вспомогательный инструмент под контролем специалистов. Он может ускорить обработку документов, помочь в анализе снимков, но ответственность за лечение должна оставаться за врачами.

Взгляд в будущее

Сейчас исследователи призывают пересматривать методы оценки ИИ, чтобы они лучше отражали реальные условия медицины. Только в этом случае технологии смогут занять прочное место в практике. Пока же, как подчеркивают авторы исследования, клиническое применение должно ограничиваться поддерживающими ролями.

Таким образом, вопреки словам Джада Тарфи, медицинское образование не теряет актуальности. Напротив, компетентные специалисты будут нужны ещё больше — чтобы контролировать работу алгоритмов и принимать решения там, где машина ошибается.