Isida.uz

ИИ против живого врача: заменит или нет?
ChatGPT сдал медицинский экзамен, но не может работать врачом.
Приходишь к врачу, а он тебе цитирует новейшие и лучшие учебники, помнит наизусть тысячи редких синдромов, сдает экзамены на высший балл, но стоит спросить: "Доктор, у меня вот тут колет, а еще я вчера котлетку ел на ночь", — его начинает клинить. Немного, конечно, я преувеличиваю, но по большому счету так обстоят дела с большими языковыми моделями, когда речь идет о реальной медицине.

Наверняка вы уже встречали врача, который справлялся в ChatGPT про ваше состояние. (Мои друзья встречали)

Да не может быть! Вон же сколько было новостей про сдачу крутых профи-тестов нейронками типа ChatGPT на уровне крутых спецов-людей.

Проблема в том, что обычно их тестируют на стандартных экзаменах вроде USMLE (это американская лицензия для врачей). Там нужно выбрать ответ из четырех вариантов. И модели тут чудо как хороши и ставят рекорд за рекордом. Но реальная клиника — это ж не викторина тщеславия, а бесконечная работа с неопределенностью. Поэтому исследователи в новой работе проверили алгоритмы “по-честному”. Они собрали свой бенчмарк из 750 задач. И это изящно сделано, надо признать.

Там не нужно ставить диагноз с нуля. Вам, то есть нейронке, дают сценарий (например, “пациент с болью в груди”) и гипотезу (”это инфаркт”).

А затем подкидывают новый факт (”на ЭКГ все чисто”) и спрашивают: как этот факт меняет вероятность гипотезы? Вариантов пять: от “гораздо менее вероятно” (-2) до “гораздо более вероятно” (+2).

И вот так сравнили 10 топовых моделей (включая o1, GPT-4o, Claude 3.5, DeepSeek R1) с тем, как справлялись люди: 1070 студентов-медиков, 193 ординатора и 300 практикующих врачей.

Результаты получились, прямо скажем, отрезвляющие. Ни одна модель не смогла дотянуться до уровня опытных врачей. Лучший результат показала OpenAI o3 (67,8%), за ней GPT-4o, а вот специализированные «рассуждающие» модели вроде o1-preview и DeepSeek R1 неожиданно провалились, набрав меньше баллов. Google Gemini 2.5 вообще оказался в хвосте (3 версия еще не вышла тогда).

Любопытно, что так называемые “рассуждающие” модели (строящие цепочки рассуждений при обработке вашего сообщения) здесь вроде бы должны справляться лучше, ведь тут сложная логика.

Но у исследователей получилось наоборот: эти модели страдали от самоуверенности. Там, где живой врач осторожно ставит +1 (”ну, это немного повышает вероятность”) или 0 (”этот факт вообще ни о чем не говорит”), “рассуждающие” модели рубят с плеча и выбирают крайние значения +2 или -2. Они почти не используют “ноль”.

Получается, как полагают авторы, что попытка заставить модель рассуждать шаг за шагом в условиях нехватки данных приводит к тому, что она сама себя убеждает в радикальных выводах. То, что называется “иллюзией компетентности”: модель строит логичную цепочку на зыбком фундаменте и приходит к железобетонному (и неверному) заключению.

Конечно, к самому методу бенчмарка можно тоже придраться. Ведь он оценивает ответы по совпадению с мнением группы экспертов. Это значит, что если модель (или гениальный врач) увидит неочевидную связь, которую пропустило большинство коллег, тест засчитает это как ошибку.

Но пока что авторы приходят в целом к очевидному для многих, кто понимает, как работают нейронки, выводу: “знать медицину” и “мыслить как врач” — это две большие разницы. И полагаться на большие языковые модели в медицинских вопросах, как на врача, как минимум пока рано. И, пожалуй, особенно на врача, который идет за ответами на свои вопросы к ChatGPT, "Чтобы только спросить".
В статье по ссылке другой ракурс проблемы и вывод, что ИИ хорошее подспорье для грамотного врача.
Но врачей ещё нужно учить работать с ИИ.
Фото с этого же сайта
https://myavatardoctor.com/blog/ai-doctors-vs-human-doctors/

Наш канал 👉 https://t.me/ceohealth

КУДА ИДТИ ИЛИ ОПЯТЬ О СТРАТЕГИИ?

Помните знаменитый диалог из "Алисы в стране чудес"?
— Скажите, пожалуйста, куда мне отсюда идти?
— А куда ты хочешь попасть? — и ответил Кот.
— Мне все равно… — сказала Алиса.
— Тогда все равно, куда и идти, — заметил Кот.
Вспоминаю этот диалог, когда думаю о стратегии Узбекистана, и в частности, о стратегии здравоохранения.
Отражены ли в документе, для разработки которого наняли сначала иностранных консультантов со всей Евразии, а потом турецкую консалтинговую компанию, вызовы, которые встают перед нами?
Какие спросите вы?
1) Ухудшение экологии и в связи с этим ухудшение здоровья населения, появление новых болезней и возвращение тех, о которых мы вроде забыли. Если помните диаграмму ВОЗ, то % влияние на здоровье, у экологии даже выше, чем самой системы здравоохранения - 20%!!!!
2) Демографический переход. О нем говорят в некоторых публикациях, но будет ли готово здравоохранение к этому? И что такое демографический переход в наших реалиях?
3) Цифровизация, Искусственный интеллект и Робототехника. И в связи с этим мировым трендом главный вопрос для чего? Внедрение ИИ и робототехники только, чтобы показать, что мы не отстаём от передовых стран, это совсем не причина включаться в эту дорогую гонку
4) Кадры....У нас образование, и в частности, медицинское образование реформируют уже которое десятилетие. А результаты все хуже и хуже...
С одной стороны не можем трудоустроить армию людей, а с другой стороны не хватает квалифицированных кадров.
И, откровенно, говоря, обучение медицинских работников, за редким исключением (в основном это врачи старой школы), требует колоссальных усилий, и не факт, что они поймут и освоят то, что им преподается.

А что вы считаете должно быть включено в стратегии Минздрава?

Наш канал 👉 https://t.me/ceohealth

В 1927 году из Америки в СССР возвращался молодой человек, вызывавший оторопь у таможенников.
Одетый по заграничной моде, отлично говоривший по-английски, он вез с собой медицинское оборудование, купленное на деньги, которые ему заплатили за операции в крупнейшем госпитале США. В том госпитале ему предложили престижную работу, от которой молодой человек отказался. А если добавить, что его отец до революции был владельцем Нижних торговых рядов в Москве, что его жена – дочь миллионера, и что он сам в свое время служил в царской армии, то можно решить, что «возвращенец» был просто сумасшедшим!
Но Сергей Сергеевич Юдин ненормальным не был. Он был гениальным хирургом и убежденным патриотом.
Вскоре после возвращения из США Юдин был назначен главным хирургом Института им Н. В. Склифосовского.
Тогда эта клиника на 96 коек была убогим помещением с печным отоплением. За три года Юдин превратил хирургический стационар и операционные института в лучшие не только среди отечественных, но и некоторых зарубежных клиник. Главная идея Сергея Сергеевича была в том, что работающие у него хирурги должны обладать широчайшим диапазоном возможностей, быть, как он сам говорил, «поливалентными»
Институт стал настоящей «хирургической Меккой», аккумулятором, где хирурги черпали идеи. В книге отзывов того времени – восторженные записи профессоров Герцена, Вишневского, Войно-Ясенецкого, иностранных светил. Об операциях Юдина ходили легенды: он мог делать то, что выходило за пределы человеческих возможностей. Например, он выполнял резекцию желудка за 20–30 минут, чего до сих пор не удалось повторить ни одному хирургу в мире. Его сравнивали с пианистом-виртуозом, а сам хирург говорил: «Вскрываю брюшную полость, кладу руку на опухоль, беру аккорд и вижу, что опухоль удалима». Юдин великолепно играл на скрипке и гитаре, а одну из своих книг назвал «Этюды желудочной хирургии». Он также дружил с художниками: его портреты кисти Нестерова и Корина до сих пор украшают Третьяковку.
Деятельность Сергея Сергеевича приобрела государственный размах, когда в 1930 годы он предложил методику переливания трупной крови. Консервировать кровь тогда еще не умели. Открытие, сделанное накануне войны, позже спасло жизнь миллионам бойцов. Кроме того, Юдин с командой хирургов института выезжал на самые трудные участки фронта и оперировал одновременно на 4–5 столах, показывая и обучая. Его гениальными руками были спасены тысячи раненых.
В характере Сергея Сергеевича сохранялась детская искренность и порывистость, желание «играть» с судьбой. Он общался с иностранными журналистами без переводчика, писал открытки Черчиллю, отстаивал службы в Елоховском соборе, крестил детей своих сотрудников и называл советскую власть не иначе как «совдепией»… И это не прошло безнаказанно.
В конце 1948 года, почти сразу после того, как Юдин был награжден второй Сталинской премией, хирург был арестован по обвинению в шпионаже.
В одиночной камере Лефортовской тюрьмы, после допросов и пыток, этот заключенный просил только об одном: дать ему возможность писать. На клочках бумаги, которую выдавали для туалета, Юдин создавал научные статьи, приводя по памяти цифры, графики, цитаты на нескольких языках.
В 1952 году его отправили в ссылку в сибирский городок Бердск. Вскоре жене одного из местных партийных бонз понадобилась операция. На звонок в Кремлевку работавший там ученик Юдина ответил: «Лучшие хирургические руки страны – в Бердске!» После этого случая Юдину разрешили работать в Новосибирске. Он не только с упоением оперировал, но и начал серию экспериментальных работ со студентами.
В 1953 году Сергей Сергеевич был реабилитирован и вернулся на прежнюю должность. Однако один из учеников, сыгравший роль и в его аресте, восстановил против него часть сотрудников. Виртуозные операции Юдина, у которого «не было неоперабельных больных», не могли спасти его от разборок, склок, доносов… Спустя 11 месяцев он скончался от инфаркта после триумфального выступления на конгрессе хирургов.
После смерти Юдина его имя постарались забыть, хотя его открытиями и сегодня продолжают пользоваться миллионы медиков. О судьбе этого выдающегося человека рассказывают книги: «Образы великих хирургов», «Дело Юдина»
Автор Ольга Алекперова