Программное обеспечение для здравоохранения уделяет приоритетное внимание белым пациентам, даже если они не так больны

Согласно новому исследованию, которое будет опубликовано в журнале Science, алгоритмы, предназначенные для помощи пациентам, нуждающимся в дополнительной медицинской помощи, с большей вероятностью будут рекомендовать относительно здоровых белых пациентов, а не более тяжелых чернокожих пациентов.

Хотя исследователи изучали один конкретный алгоритм, используемый в Бригаме и женской больнице в Бостоне, они говорят, что их проверка показала, что все алгоритмы этого типа, продаваемые в больницы, работают одинаково. Согласно их бумажным документам, это проблема, от которой страдают до 200 миллионов пациентов, которые сортируются с помощью этой системы.

Сендхил Муллайнатан, соавтор статьи и профессор Чикагского университета, говорит, что цель исследования - дать возможность «клиентам» - в данном случае больницам - проверить механизмы, лежащие в основе программного обеспечения, которое они покупают.

«Мы проходим этот этап, когда клиенты, покупающие важнейшие продукты, не получают информации о том, что они собой представляют», - говорит Муллайнатан. «Это как когда я покупаю машину - я буквально не знаю, что происходит под капотом».

Вот как работает алгоритм: когда пациент зарегистрирован в системе электронных медицинских карт больницы, алгоритм оценки риска присваивает этому пациенту оценку на основе доступной информации, например, имеет ли этот человек хроническое заболевание, его возраст, выставление счетов за предыдущие посещения врача. и специфические биомаркеры, такие как артериальное давление.

Алгоритм предназначен для снижения затрат по всей системе, действуя исходя из предположения, что те, кто больше тратил на свое здравоохранение в прошлом, выиграют от более проактивного ухода, уменьшая затраты на неотложную помощь и другие перегруженные услуги. По словам исследователей, пациенты, включенные в эти программы, получают особое внимание медсестер и более быстрый доступ к врачам первичной медико-санитарной помощи.

Если пациенту отнесен к группе повышенного риска, требующей дополнительного ухода, что означает, что он набрал 97% или выше, как определено алгоритмом, он автоматически попадает в программу дополнительного ухода.

Но алгоритм сортирует пациентов в соответствии с тем, сколько они ранее платили за медицинское обслуживание, а это означает, что те, кто традиционно несут больше расходов, получат это льготное лечение. Вот где закрадывается предвзятость. При разбивке расходов на здравоохранение исследователи обнаружили, что система здравоохранения менее склонна лечить чернокожих пациентов, страдающих схожими хроническими заболеваниями, по сравнению с белыми пациентами. Более больные чернокожие пациенты считались менее достойными медицинской помощи, чем более здоровые белые пациенты, и, согласно данным, на 26% больше чернокожих пациентов имели активные хронические заболевания по сравнению с белыми пациентами с той же оценкой риска.

«Несмотря на то, что предвзятость со стороны доверенных лиц очень распространена, она широко распространена во многих областях, и многие люди, похоже, не осознают ее на практике».

Причины неясны, но предполагается, что они носят системный характер. Исследователи ссылаются на исследования, показывающие, что чернокожие пациенты часто имеют меньше удобных вариантов медицинского обслуживания, несмотря на то, что все пациенты в наборе данных застрахованы, в качестве потенциальной причины разницы в стоимости лечения.

Они изучали только пациентов, которые идентифицировали себя как черных или белых в этом исследовании, исключая другие этнические группы для прямого сравнения.

Таким образом, когда чернокожие пациенты тратят меньше средств на лечение тех же заболеваний, алгоритм предполагает, что они не нуждаются в дополнительном уходе так сильно, как белые пациенты. Основная причина заключается в том, что алгоритму был предоставлен неправильный прокси для проблемы или данные, которые представляют проблему, которую необходимо решить, - говорит Рэйчел Томас, директор Центра прикладной этики данных Университета Сан-Франциско и соучредитель исследовательской лаборатории. fast.ai сообщает OneZero по электронной почте.

«Несмотря на то, что предвзятость со стороны доверенных лиц очень распространена, она широко распространена во многих областях, и многие люди, кажется, не осознают этого на практике», - говорит она. «В их основе то, что самый современный A.I. "

Эти прокси есть везде. «Вы хотите знать, какой контент нравится пользователям, поэтому вы измеряете, на что они нажимают. Вы хотите знать, какие учителя наиболее эффективны, поэтому вы измеряете результаты тестов их учеников. Вы хотите знать о преступности, поэтому измеряете количество арестов. Вы хотите знать, что делает сотрудника эффективным, поэтому вы измеряете характеристики своих нынешних сотрудников. Я бы сказал, что все это плохие прокси (но все они в настоящее время оптимизируются алгоритмическими системами) », - говорит Томас.

Она проводит сравнение с алгоритмом Google YouTube, который использует время, которое пользователи проводят за просмотром видео, как показатель того, насколько успешным был алгоритм при выборе видео. Это стимулирует появление все более и более радикального контента, поскольку убедив пользователей в том, что остальные СМИ лгут, они больше смотрят YouTube, - писал Томас в сентябре.

Знание о том, что расходы на здравоохранение использовались в качестве косвенного показателя здоровья, позволило исследователям разработать более разумное решение. Вместо того, чтобы использовать стоимость здравоохранения в качестве маркера потребности, они использовали наличие хронического заболевания. При запуске моделирования, предназначенного для замены более здоровых белых пациентов менее здоровыми чернокожими пациентами, популяция пациентов, автоматически включенных в программу, обеспечивающую дополнительную помощь, увеличится с 17,7% чернокожих пациентов до 46,5%.

Многие алгоритмы управления рисками, используемые в других сферах общества, такие как предвзятый алгоритм COMPAS, используемый в правовой системе США для оценки риска рецидива преступных действий, защищены заявлением их компании о коммерческой тайне, что затрудняет проведение сторонних исследований. Но поскольку соавторы этой статьи работали в рассматриваемой больнице, они смогли работать с реальными прогнозами алгоритма и получить доступ к фактическим данным пациентов, которые использовались для определения.

«Когда вы работаете над изучением алгоритмической предвзятости, вы понимаете, что у нас не так много примеров предвзятых алгоритмов, - говорит Муллайнатан. «Они сидят за корпоративной стеной, либо есть аудит снаружи».

И эта работа, вероятно, улучшит алгоритм для всех клиентов. Исследователи говорят, что они работают с производителем на безвозмездной основе, чтобы помочь алгоритму работать более справедливо в будущих итерациях.