Представьте себе систему машинного обучения, которая использует краудсорсинговые маркировщики данных, чтобы ранжировать музыкальные рекомендации. Все этикетировщики разные, и это различие может проявляться в их этикетках. Является ли система предвзятой?

Ответ зависит от многих вещей, но одна из них — это то, кого вы спрашиваете. Предвзятость означает разные вещи для разных людей. На днях я наблюдал очень интересную дискуссию на эту тему между юристом (Джейк Гольденфейн) и специалистом по данным (Данула Хеттиаччии). Похоже, у моих коллег были принципиально иные представления о предвзятости. В юриспруденции, гуманитарных и социальных науках термин предвзятость обычно имеет уничижительные ассоциации и включает оценочные суждения — некоторые виды предвзятости могут быть неуместными или даже незаконными. В дисциплинах STEM этот термин, как правило, имеет конкретные, нейтральные значения. Если мы хотим продуктивных дискуссий о предвзятости в разных дисциплинах, нам нужно договориться о терминах!

Есть как минимум 4 способа понять термин «предвзятость» в контексте систем машинного обучения. Смещение имеет и другие значения в теории вероятностей и статистике (ни одно из них не является уничижительным). Но давайте сосредоточимся на 4 определениях, которые наиболее актуальны для машинного обучения и автоматизированного принятия решений с последствиями в реальном мире:

  1. Смещение в смысле науки о данных систематической ошибки измерения или выборки, где смещение описывает, насколько в среднем прогнозы или классификации модели далеки от истины.
  2. Когнитивная предвзятость: в смысле Тверски/Канемана люди используют ошибочные эвристики или следуют предсказуемым моделям ошибочных суждений (предвзятость доступности, предвзятость подтверждения, принятие желаемого за действительное и т. д.)
  3. Предвзятость в смысле предвзятости или несоблюдения беспристрастности со стороны лица, принимающего решения.
  4. Предвзятый результат или тенденция в принятии решений, которые несправедливо отдают предпочтение одной группе по сравнению с другой (включая подмножество предвзятости, когда результат несправедливо ставит группу в невыгодное положение на основе защищенных характеристик, таких как раса или пол).

Любой или все из 1–3 могут вызвать 4. Мы могли бы использовать слово предвзятость в широком смысле, в значении числа 4, для описания несправедливых последствий или следствий ошибки прогноза (где ошибка прогноза равна сумме систематических ошибок). (в смысле 1) и дисперсии модели). Когнитивная предвзятость (2) может вызвать предубеждение (3). Например, причиной предрассудков может быть предвзятость по сходству (тенденция более благосклонно относиться к людям, которые похожи на нас, а не отличаются от нас).

Точно так же первый вид смещения (ошибка измерения или выборки) может быть вызван любым или всеми из 2–4. На выборку и маркировку набора данных влияет субъективность обработчика/наклейщика данных — ее когнитивные предубеждения, привычки или предубеждения — и закономерности несправедливости в человеческих делах. Кажется, в этом и заключается смысл этой записи в блоге, в которой описывается ряд различных причин для 1 (но, как и во многих других статьях, сбивает с толку вопрос о том, означает ли предвзятость несправедливость, или ошибку выборки, или и то, и другое).

Еще одна путаница заключается в том, что предвзятость в смысле науки о данных (1) оценивается постфактум в соответствии с тем, насколько в среднем результаты модели далеки от «истины». Вот тут становится сложно. В некоторых случаях, скажем, в модели, предсказывающей, сколько голов футбольные команды забьют в каждой игре, докопаться до истины нетрудно. После того, как команды отыграли сезон, вы можете с уверенностью нарисовать кривую, представляющую правду (сколько голов команды фактически забили), и кривую, представляющую прогнозы модели, и описать среднюю разницу как «предвзятость».

В других случаях попытка определить предвзятость или расхождение по отношению к «истине» требует оценочного суждения. Или, скорее, выяснение того, что должно стоять в качестве прокси для истины, включает в себя оценочное суждение, подверженное предвзятости в смысле 2 или 3. Похоже, это имеет место, скажем, для музыкальных рекомендательных систем. Правда — это некоторая аппроксимация предпочтений пользователя, но довольно сложно точно определить ценность, которую пользователь извлекает из песни; и есть разные оптимумы, к которым можно стремиться. Максимальная вовлеченность? Пользователь чувствует вызов? Пользователь эмоционально тронут? Идеальный баланс между знакомостью и новизной?

Вдобавок ко всему, если вы полагаетесь на краудсорсинговую маркировку для обучения контролируемой системы машинного обучения, понимание того, что заменяет истину, может различаться (в результате предвзятости во 2-м или 3-м смысле или просто в результате различия в маркировщике). перспективы). В результате вы получаете предвзятость в смысле науки о данных (1) ошибки выборки — или, по крайней мере, несоответствие в маркировке, и это несоответствие может в некоторых обстоятельствах привести к несправедливым результатам (4). Похоже, именно на этом сосредоточился мой коллега по машинному обучению.

Моему коллеге-юристу, с другой стороны, не нравилось предположение, что существует некая истина, по которой можно оценивать предубеждения тех, кто навешивает ярлыки; и с использованием загруженного термина, такого как «предвзятость», для описания отклонений от выбранного прокси.

В других случаях вы получаете сложную смесь различных видов предубеждений с последствиями, которые не всегда совпадают с тем, чем кажутся. Возьмите модель, которая классифицирует фотографии поражений кожи как рак (или нет). После того, как модель была применена к изображению, врачи могут взять биопсию поражения и подтвердить или опровергнуть классификацию. Но сам тест биопсии, по-видимому, будет иметь несколько ложноположительных и ложноотрицательных результатов, а это означает, что измерение предвзятости модели против «правды» не является простым.

Все становится еще более запутанным, если мы знаем, что степень ошибки классификации по модели намного выше для темнокожих людей, чем для светлокожих. Что, если он настолько неточен на изображениях темной кожи, что его нельзя безопасно использовать для темнокожих пациентов? На первый взгляд система может показаться предвзятой в смысле 3 (предубеждение) и 4 (несправедливость). Преимущества точной классификации неодинаковы и распределяются в зависимости от цвета кожи. В результате темнокожие люди хуже лечатся или им с большей вероятностью потребуется биопсия, чем светлокожим людям, у которых можно поставить диагноз без хирургического вмешательства.

Но что, если окажется, что этот кажущийся несправедливым результат на самом деле не может быть приписан 3 (предрассудку)? Возможно, причина, по которой эта модель не работает для темной кожи, заключается в том, что темнокожие люди заболевают раком кожи гораздо реже, чем светлокожие. Возможно, просто не хватает данных для обучения системы. Если бы это было правдой, то имело бы место смещение в смысле ошибки выборки из-за отсутствия релевантных данных (1), что привело бы к разной частоте ошибок прогнозирования/категоризации, как между темнокожими и светлокожими людьми. Но не было бы предвзятости в смысле дискриминации или предубеждения (3), даже если в общих чертах мы могли бы подумать, что несправедливо (4) то, что темнокожие люди находятся в неблагоприятном положении в отношении доступных им диагностических инструментов. С другой стороны, мы можем обвинить предубеждение (3) в том, что не было приложено больше усилий для сбора достаточного количества данных о темнокожих пациентах.

Дело в том, что существует множество источников возможных разногласий по поводу того, является ли система машинного обучения «предвзятой».

Возможно, все это элементарно в науке о данных или в литературе о справедливости автоматизированного принятия решений. Но, говоря за себя, меня часто смущает то, как исследователи автоматизированного принятия решений из разных дисциплин используют термин «предвзятость», и хотелось бы, чтобы мы могли прийти к более четким определениям в разных дисциплинах.