Вы слышали, что разные команды создают лучшие продукты, но видели ли вы, как это доказывается на основе данных?

Бессознательное предубеждение влияет на всех нас. Мы все делаем предположения в нашей повседневной жизни, и некоторые из них могут быть неверными или совершенно вредными. Серьезность этих ошибок в суждениях во многом зависит от нашего опыта. С разнообразным опытом приходит непредвзятое отношение, а без этого разнообразия у нас так мало объективов, чтобы смотреть на новые ситуации, что мы склонны принимать недалекие решения. Причина, по которой это происходит, заключается в том, что каждый новый опыт дает нам новые данные, на основании которых мы можем понять мир.

Теперь посмотрите, что происходит, когда мы сотрудничаем. Мы можем агрегировать каждую из наших данных, чтобы принимать даже лучшие решения, чем в одиночку. Но в комнате с большим количеством похожих сотрудников с похожими данными, даже непредубежденных людей, это агрегирование становится гораздо менее мощным. В этом причина необходимости в более разнообразных командах в технологической отрасли. С каждым новым человеком с другим опытом и набором опыта появляется больше линз, через которые можно смотреть на проблему, что приводит к более творческим и инклюзивным решениям.

Чтобы доказать это утверждение, нам нужно уметь его моделировать. Мы знаем, что модели машинного обучения (МО) особенно чувствительны к предвзятости данных, как и люди. Этот атрибут делает модель машинного обучения отличным аналогом человеческого поведения в этом конкретном случае. Согласно Facing Bias in Facial Recognition Technology, технологии распознавания лиц ошибочно идентифицировали лица чернокожих и азиатов в 10–100 раз чаще, чем лица белых. Технологии также ложно идентифицировали женщин чаще, чем мужчин, что делает чернокожих женщин особенно уязвимыми для алгоритмической предвзятости. Модели распознавания речи плохо понимают женские голоса, поскольку существует гораздо больше данных о белых мужских голосах, чем о женских и других демографических голосах меньшинств. А системы классификации текстов печально известны тем, что изучают человеческие предубеждения, выраженные в тексте.

Методология

Чтобы собрать данные о влиянии различных данных на производительность модели машинного обучения, мы использовали модель машинного обучения, которая классифицирует различные аспекты данного лица. Для простоты мы создали наборы данных бинарной классификации: мужчины против женщин и белые против небелых. В этом конкретном случае в наборе данных UTKFace есть только мужские и женские лица, поэтому безопасно проводить бинарную классификацию по мужчинам и женщинам, а не по мужчинам и не мужчинам, но в будущем мы надеемся увидеть больше наборов данных с гендерным разнообразием. . Используя базу данных UTKFace, предоставленную Университетом Теннесси в Ноксвилле, я создал подмножества различных демографических групп.

  • Набор данных Рабочая сила использует демографические данные текущей рабочей силы STEM, согласно Национальному научному фонду. Для набора данных мужчин/женщин мы использовали разделение 65,9%/34,1% соответственно. Для белых/небелых мы использовали соотношение 65,3%/34,7%.
  • Набор данных Разнообразие использует демографические данные обо всем американском населении, согласно Бюро переписи населения США. Для набора данных мужчин/женщин мы использовали разделение 49,5%/50,5% соответственно. Для белых/небелых мы использовали разделение 59,3%/40,7%.

В частности, в случае эксперимента на основе расы набор данных Diverse представляет собой лишь шаг к более разнообразной рабочей силе, но, основываясь на американской общедоступной демографической статистике, строгое следование этим цифрам все равно будет означать, что в комнате будет больше белых людей, чем кто-либо другой. , что не является конечной целью. Истинное равенство достигается за счет того, что у каждого человека в комнате есть своя точка зрения, и это не обязательно означает следование определенным демографическим принципам. Но для целей количественного эксперимента именно так мы выбрали наши числа!

Чтобы избежать ненужной дисперсии, мы начали с того, что взяли для анализа только изображения людей в возрасте от 18 до 65 лет. Затем для каждого демографического состава мы взяли каждую выборку для большего процента и подсчитали их, затем мы взяли достаточно случайных выборок из группы с более низким процентом, чтобы создать процент, который мы хотим. Таким образом, мы создали максимально большой набор данных с желаемыми процентами.

Используя Tensorflow, мы создали классическую свёрточную нейронную сеть (CNN) для обучения. Архитектура нарисована ниже.

  • Изменение масштаба: изменяет размер изображения до стандартного размера. Для этого набора данных все изображения уже имеют правильный размер, поэтому этот слой — просто формальность.
  • Свертка: применяет несколько обучаемых ядер с помощью свертки к каждому каналу, чтобы получить гораздо больше каналов. Я не буду вдаваться в подробности свертки, но представьте ее с точки зрения скользящего окна матричных умножений по изображению.
  • Максимальный пул: выберите окно и возьмите только максимальное значение в этом окне на следующий слой.
  • Flatten: берет все каналы входного слоя и сводит их в одномерный список значений.
  • Fully-Connected: классическая нейронная сеть с весами, соединяющими каждое значение входного слоя с каждым значением выходного слоя.

Для обучения модели мы использовали Tensorflow и алгоритм оптимизации Адама, который представляет собой более оптимизированную версию стохастического градиентного спуска. Мы использовали Google Colab для проведения всего нашего обучения, тестирования и оценки, а также использовали Matplotlib для визуализации выходных данных. Чтобы проверить модель, мы используем тестовый набор с разнообразным демографическим составом, чтобы представить население Соединенных Штатов.

Чтобы провести наш эксперимент, мы начинаем с обучения и тестирования модели на наборе данных Workforce 10 раз и берем среднюю точность. Затем мы делаем то же самое для набора данных Diverse. Для простоты мы сосредоточимся на точности нашей основной метрики, хотя на практике важно проверять другие метрики производительности, такие как соответствие, чтобы действительно определить производительность модели.

Анализ и интерпретация данных

Пол

На этих графиках показаны кривые точности и потерь в течение одного тренировочного цикла. Как видите, модель могла обучаться на любом наборе данных, но точность проверки на наборе данных Diverse была примерно на 10% выше. Функция потерь вычисляет среднее значение того, насколько образцы близки к реальной модели. Думайте о модели как об очень сложной функции, а о каждом образце — как о точке данных на одном и том же графике этой функции. Функция потерь вычисляет расстояние между этим образцом и моделью, делает это для каждого образца и усредняет расстояния. Итак, вы можете видеть, что набор данных, который сильно смещен в сторону мужских лиц, будет иметь более высокое расстояние от любых женских лиц, что приведет к более высоким потерям в среднем и более низкой точности, даже на случайно выбранном проверочном наборе, который теоретически может иметь любые демографические данные. макияж, хотя вероятность того, что мужских лиц больше, чем женских, выше.

Средняя точность набора данных Workforce составляет 74,9%, а средняя точность набора данных Diverse — 81,5%. Разница в точности составляет 6,6%, и способ интерпретировать это заключается в том, что модель Diverse правильно классифицирует на 6,6% больше лиц, чем набор данных Workforce. В целях нашего аргумента думайте о модели как о продукте, любом продукте, а о точности как о пользовательской базе, к которой относится этот продукт. В этом случае разница в 6,6% составляет 11 миллионов потенциальных клиентов-женщин, которых не хватает продукту Workforce только в Соединенных Штатах. Вот почему для компании так важно применять справедливые методы найма: продукты, созданные однородными командами, не охватывают столько клиентов, сколько могли бы.

Раса

Мы провели тот же анализ для наборов данных Workforce и Diverse, основанных на расах, и получили точность 65,3% и 69,0% соответственно. Это разница в 3,7% и составляет 5 миллионов потенциальных клиентов цвета.

Заключение

Крайне важно ценить разнообразные команды в рабочей силе не только за инновации и за то, чтобы сделать страну более инклюзивной, но и за создание продуктов для более широкой клиентской базы, приносящих пользу компании. Поэтому в интересах компании нанимать сотрудников по справедливости.

Что может сделать моя компания?

Начиная со средней школы, ваша компания может работать над тем, чтобы учащиеся были вовлечены в STEM, спонсируя внеклассные мероприятия, мероприятия, такие как лагеря, и даже стипендии для колледжей, особенно для учащихся из недостаточно представленных групп. Ваша компания также может сотрудничать с существующими организациями, такими как Girls Who Code и Kode with Klossy, чтобы расширить возможности нового поколения девушек и вдохновить их своими историями и опытом работы в сфере технологий.

Для студентов колледжа ваша компания может направить рекрутеров в университеты с разнообразным студенческим составом и пригласить этих студентов на сетевые мероприятия или обеды и обучение. Ваша компания также может работать со студенческими организациями, которые обслуживают недостаточно представленные группы и спонсируют их деятельность и мероприятия, такие как хакатоны. Кроме того, многие университеты ищут компании, которые спонсируют их проекты для своих студентов, так что это тоже немного поможет. Ваша компания также может проводить сетевые/панельные мероприятия на месте, чтобы студенты колледжа имели лучшее представление о том, чего ожидать от работы в этой компании, и получить соответствующее наставничество, необходимое для того, чтобы узнать, как они могут сделать следующий шаг в построении карьеры. в технологическом пространстве.

Для кандидатов, ищущих работу на полный рабочий день, ваша компания может отправить рекрутеров на такие конференции, как Tapia (при поддержке ACM), GHC (при поддержке AnitaB.org) или WE (при поддержке Общества женщин-инженеров). Кроме того, внутри вашей компании ваша компания может гарантировать, что ваши ресурсные группы сотрудников получат необходимую поддержку для функционирования и предоставления возможностей наставничества, особенно для сотрудников из недостаточно представленных групп.

Все эти идеи позволят вашей компании принять участие в росте рабочей силы STEM и воспользоваться этими преимуществами для себя.

Что я могу сделать?

Для человека существует так много ресурсов о том, как стать более инклюзивным коллегой и менеджером. Но с точки зрения этой статьи лучшее, что вы можете сделать, — это использовать наши данные, чтобы убедить лиц, принимающих решения в вашей компании, в том, что справедливый найм — это выгодная вещь, на которую можно потратить время и деньги. Поделитесь этой статьей! Используйте его как основу для встреч с начальством! Сообщите всем: отныне мы нанимаем сотрудников по принципу справедливости и поддерживаем недостаточно представленные группы в рабочей силе.

Эта статья написана в сотрудничестве с Medha Aiyah в качестве дополнения к нашему выступлению на конференции CMD-IT/ACM TAPIA 2022 года в Вашингтоне, округ Колумбия.