Введение

Искусственный интеллект (ИИ) быстро меняет бизнес-ландшафт, предлагая организациям новые способы повышения операционной эффективности, автоматизации процессов и повышения качества обслуживания клиентов. Однако по мере того, как использование ИИ становится все более распространенным, растет беспокойство по поводу этических последствий его внедрения.

В предыдущем блоге я говорил о том, что предприятиям, применяющим ИИ в своих сервисах, ориентированных на клиентов, необходимо иметь четко определенную и хорошо понятную этическую основу. Это непростая задача. В равной степени это способность фирмы продемонстрировать соблюдение этических норм с намерением продемонстрировать прозрачность в случае усиления контроля со стороны регулирующих органов.

Таким образом, организации должны обеспечить, чтобы их использование ИИ регулировалось рамками этических и юридических соображений, включая прослеживаемость, прозрачность и объяснимость. Один из способов сделать это — объединить людей, процессы и технологические возможности под лозунгом структуры и подхода MLOps. В этом блоге я расскажу, как подход MLOps может помочь организациям управлять использованием ИИ, обеспечивая соблюдение этических и правовых норм и укрепляя доверие клиентов, заинтересованных сторон и регулирующих органов.

Давайте начнем с того, что сначала рассмотрим, что мы подразумеваем под MLOps.

Что такое МЛОпс?

MLOps, сокращение от Machine Learning (ML) Operations, — это практика, направленная на оптимизацию процесса создания, развертывания и управления моделями машинного обучения в рабочей среде. Это сочетание методов DevOps и рабочих процессов машинного обучения, которое направлено на объединение специалистов по данным, инженеров и операционных групп для создания более эффективной среды для совместной работы. При этом он обеспечивает более глубокий уровень прослеживаемости и прозрачности того, как программное обеспечение с поддержкой ИИ генерирует определенные действия и решения, влияющие на бизнес.

MLOps фокусируется на автоматизации и оптимизации конвейера машинного обучения, от подготовки данных и разработки функций до обучения моделей, развертывания и мониторинга. Он включает в себя реализацию контроля версий, непрерывную интеграцию и доставку, а также автоматическое тестирование, чтобы гарантировать надежность, масштабируемость и удобство сопровождения моделей машинного обучения. По мере того, как организация будет все больше полагаться на машинное обучение и искусственный интеллект, рациональный подход к MLOps будет становиться все более важным для сохранения контроля над их имуществом. Чтобы защитить от ошибочных моделей, которые могут вызвать хаос в производстве.

Например, MLOps помогает решать проблемы управления моделями машинного обучения в производственной среде, такие как дрейф модели, снижение производительности и предвзятость. Применяя подход MLOps, организации могут гарантировать, что их модели машинного обучения заслуживают доверия, объяснимы и соответствуют нормативным стандартам. Организации часто обращаются к подходу MLOps, чтобы ускорить внедрение ИИ, снизить затраты на разработку и улучшить общее качество своих моделей машинного обучения в соответствии с этическими правилами и политиками.

Какие технологические возможности необходимы для масштабирования платформы MLOps?

Платформа MLOps состоит из нескольких ключевых возможностей, необходимых для создания, развертывания и управления моделями машинного обучения в производственной среде. Эти возможности включают в себя:

Управление данными. Для эффективного MLOps требуется надежная стратегия управления данными, обеспечивающая надлежащее хранение, маркировку и управление данными. Сюда входят инструменты и процессы для подготовки данных, очистки и разработки функций. Кроме того, инструменты каталогизации данных, обнаружения, управления доступом и обеспечения конфиденциальности необходимы для ускорения поиска источников данных, а также для защиты конфиденциальной/личной информации (PII) от попадания в руки людей, не имеющих разрешения на доступ к ней.

Обучение и тестирование моделей. В идеале инфраструктура MLOps должна включать автоматизированный процесс обучения и тестирования моделей машинного обучения, включая возможность управления различными версиями моделей, отслеживания показателей производительности и автоматической настройки параметров.

Непрерывная интеграция и развертывание: MLOps подчеркивает важность непрерывной интеграции и развертывания (CI/CD) для моделей машинного обучения. Это означает автоматизацию процесса построения, тестирования и развертывания моделей, а также отслеживание производительности и устранение ошибок. Это позволяет фиксировать метки даты и времени на каждом этапе жизненного цикла модели.

Управление и соответствие: MLOps также удовлетворяет потребности в управлении и соблюдении требований в области машинного обучения, гарантируя, что модели соответствуют этическим и юридическим стандартам, а также должным образом проверяются и защищаются. Короче говоря, это гарантирует, что организации, внедряющие ИИ, смогут продемонстрировать, кто, что, почему, когда и как в своих процессах управления жизненным циклом модели.

Мониторинг моделей. Чтобы модели машинного обучения оставались точными и эффективными с течением времени, среда MLOps должна включать инструменты для мониторинга моделей в производстве, выявления таких проблем, как дрейф и смещение модели, и запуска переобучения при необходимости.

Объяснимость и прозрачность. Подход MLOps подчеркивает важность объяснимости и прозрачности модели для укрепления доверия клиентов и заинтересованных сторон. Сюда входят инструменты и процессы для интерпретации моделей машинного обучения, создания объяснений и предоставления доказательств для принятия решений.

Действительно, ось управления данными и MLOps любопытным образом сочетаются с точки зрения технических основ для полностью проверяемой структуры, способной работать в регулируемых средах в любом масштабе. На изображении ниже наглядно показано, как эти домены накладываются друг на друга, создавая интегрированный ландшафт инструментов.

Как эти вещи объединяют подход MLOps, чтобы избежать предвзятости модели в решениях с поддержкой ИИ?

Платформа MLOps обычно состоит из нескольких этапов, необходимых для создания, развертывания и управления моделями машинного обучения в производственной среде. Я расскажу о различных этапах и о том, как можно продемонстрировать соблюдение требований этики и предвзятости:

Управление данными. Первым этапом в структуре MLOps является управление данными, которое включает сбор, очистку и предварительную обработку данных для использования в моделях машинного обучения. Чтобы продемонстрировать соответствие требованиям этики и предвзятости, организации могут использовать методы инженерии данных для обнаружения и исправления любых систематических ошибок в данных, таких как методы избыточной или недостаточной выборки, чтобы сбалансировать классы или демографические группы. Кроме того, маркировку данных и аннотирование можно выполнять прозрачным образом, чтобы при необходимости процесс маркировки мог проверяться и проверяться внутренними органами управления и внешними регулирующими органами.

Обучение и тестирование модели. Следующим этапом в структуре MLOps является обучение и тестирование модели, которое включает разработку моделей машинного обучения на основе предварительно обработанных данных. Чтобы продемонстрировать соблюдение этических требований и предвзятости, организации могут использовать такие методы, как показатели справедливости и анализ чувствительности, для обнаружения и исправления любых предвзятостей в моделях. Кроме того, тестирование моделей можно проводить с использованием репрезентативных и разнообразных наборов данных, а показатели производительности можно отслеживать и сообщать о них с помощью анализа тенденций с течением времени с помощью информационных панелей. Это гарантирует, что специалисты по данным могут быть проинформированы о производительности своих моделей и решениях, принятых для их построения, прозрачным образом.

Непрерывная интеграция и развертывание. Третьим этапом в структуре MLOps является непрерывная интеграция и развертывание, которое включает в себя автоматизацию процесса создания, тестирования и развертывания моделей в рабочей среде. Чтобы продемонстрировать соответствие требованиям этики и предвзятости, организации могут внедрить системы контроля версий и тестирования, которые отслеживают изменения и показатели производительности с течением времени, предоставляя доказательства производительности и точности модели.

Мониторинг моделей: это включает в себя мониторинг моделей машинного обучения на каждом этапе жизненного цикла доставки и в производстве, чтобы гарантировать, что они остаются точными и эффективными с течением времени. Чтобы продемонстрировать соответствие требованиям этики и предвзятости, организации могут использовать такие методы, как показатели справедливости и мониторинг производительности, чтобы обнаруживать и исправлять любые предубеждения, которые могут возникнуть с течением времени.

Объяснимость и прозрачность. Пятый и, возможно, самый сложный этап в структуре MLOps — это объяснимость и прозрачность. Это включает предоставление объяснений решений, принятых моделями машинного обучения. Чтобы продемонстрировать соответствие требованиям этики и предвзятости, организации могут использовать такие методы, как анализ важности функций и создание объяснений для отдельных прогнозов, предоставляя заинтересованным сторонам представление о том, как принимаются решения и какие факторы учитываются для получения результатов и результатов с использованием ИИ. решения.

Управление и соблюдение нормативных требований. Управление и соблюдение нормативных требований заложены на всем протяжении структуры MLOps. Ранее я писал о необходимости для организаций иметь политику этики ИИ. Действительно, иметь это в бумажном формате — это одно. Тем не менее, систематизировать его с помощью контроля качества и ворот утверждения на каждом этапе жизненного цикла модели — совсем другое дело. Именно здесь автоматизированное тестирование, показатели контроля качества и соответствие как коду объединяются, чтобы продемонстрировать соблюдение этических и юридических соображений, таких как конфиденциальность данных, предвзятость и объяснимость. Кроме того, можно проводить регулярные проверки и отчеты, чтобы предоставить доказательства соответствия и подотчетности.

До сих пор я ссылался на прозрачность и прослеживаемость во всех регулярных случаях. Это потому, что они в значительной степени являются опорой для обеспечения применения ИИ и управления им в соответствии с этическими нормами. Одним из таких компонентов, который может помочь организациям применить прозрачный и отслеживаемый подход к внедрению ИИ в свой бизнес, является создание хранилища функций в их конвейере MLOps.

Убедитесь, что ваши функции специалистов по данным в порядке

Хранилище функций — это централизованный репозиторий для хранения функций, используемых в моделях машинного обучения, и управления ими. Функции — это переменные или атрибуты, которые используются для обучения модели машинного обучения, такие как возраст, пол и местоположение. Хранилище функций предназначено для повышения эффективности и точности разработки машинного обучения за счет предоставления масштабируемого, версионного и общедоступного репозитория для функций. Это также гарантирует, что группы специалистов по обработке и анализу данных могут вести проверяемый каталог функций, используемых для обучения их моделей, на тот случай, если их, вероятно, попросят продемонстрировать управление и реализацию этических политик и средств контроля.

Хранилище функций позволяет специалистам по данным и инженерам легко получать доступ, исследовать и управлять функциями, используемыми в их моделях машинного обучения. Это позволяет им сотрудничать и обмениваться функциями между командами, уменьшая дублирование усилий и повышая согласованность и качество разработки функций.

Кроме того, хранилище функций обеспечивает отслеживание версий и происхождения функций, что позволяет специалистам по данным отслеживать изменения, вносимые в функции с течением времени, и отслеживать влияние этих изменений на производительность модели. Это может помочь специалистам по обработке и анализу данных выявлять и решать такие проблемы, как дрейф функций и проблемы с качеством данных, а также определять потенциальное возникновение предвзятости в услугах с поддержкой искусственного интеллекта, с которыми сталкиваются клиенты.

В сочетании с оптимальным подходом к мониторингу моделей хранилище функций обеспечивает важнейший аспект предоставления проверяемого бэк-каталога жизненного цикла моделей от колыбели до могилы. Давайте раскроем некоторые рекомендации по оптимальному мониторингу модели.

Обеспечьте контроль версий вашей организации и сортировку по происхождению

Контроль версий и отслеживание происхождения являются критически важными компонентами конвейера MLOps, поскольку они позволяют организациям отслеживать разработку и эволюцию моделей машинного обучения с течением времени. В равной степени для организаций крайне важно продемонстрировать способность «воспроизводить» модель, связанные с ней обучающие данные, функции и артефакты разработки, чтобы продемонстрировать свои этические и управленческие средства управления в полном объеме. Таким образом, разработка передовой стратегии управления версиями является неотъемлемой частью конвейера MLOps. Вот несколько передовых практик, которые следует учитывать на пути организации:

Выберите правильную систему управления версиями: выберите систему управления версиями, которая хорошо подходит для рабочих процессов машинного обучения, например Git или системы на основе Git, такие как GitHub или GitLab. Используйте стратегии ветвления и слияния, чтобы управлять развитием и эволюцией моделей машинного обучения с течением времени.

Артефакты модели отслеживания: отслеживайте артефакты, используемые для создания и развертывания моделей машинного обучения, такие как код, данные и файлы конфигурации. Используйте контроль версий, чтобы отслеживать изменения в этих артефактах с течением времени и убедитесь, что их можно легко воспроизвести и реплицировать.

Используйте метаданные для отслеживания происхождения модели. Используйте метаданные для отслеживания происхождения моделей машинного обучения, документирования данных, используемых для обучения модели, используемых алгоритмов, а также гиперпараметров и других деталей конфигурации. Эту информацию можно использовать для воспроизведения модели и отладки проблем, которые могут возникнуть. Более того, вызовы со стороны внешних сторон, органов и клиентов в отношении потенциальной предвзятости ваших продуктов и услуг на основе ИИ.

Используйте реестр моделей: используйте реестр моделей для хранения и отслеживания моделей, созданных конвейером, включая историю версий, модель. Контроль версий и отслеживание происхождения являются критически важными компонентами конвейера MLOps, поскольку они позволяют организациям отслеживать разработку и эволюцию. моделей машинного обучения с течением времени.

Рекомендации по мониторингу модели класса A*

Мониторинг моделей является критически важным компонентом конвейера MLOps, поскольку он позволяет организациям гарантировать, что их модели машинного обучения останутся точными и эффективными с течением времени. Вот некоторые вещи, которые следует учитывать в конвейере MLOps, чтобы внедрить мониторинг модели класса A *:

Определите метрики и пороговые значения: определите ключевые метрики производительности, которые будут использоваться для мониторинга модели, такие как точность, достоверность, полнота и оценка F1*. Установите пороговые значения для этих показателей с указанием приемлемого уровня производительности для каждого из них. (*Оценка F1 — это широко используемая метрика в машинном обучении, которая измеряет баланс между точностью и отзывом. Точность — это доля истинных положительных прогнозов среди всех положительных прогнозов, сделанных классификатором, а отзыв — это доля истинных положительных прогнозов среди всех фактических положительные экземпляры в наборе данных. Короче говоря, оценка F1 — это показатель оценки машинного обучения, который измеряет точность модели.)

Внедрение автоматизированного тестирования. Внедрите автоматизированное тестирование, чтобы постоянно отслеживать производительность модели и обнаруживать любые проблемы, которые могут возникнуть. Используйте такие методы, как A/B-тестирование и статистический анализ, чтобы сравнить производительность модели с различными наборами данных и оценить влияние любых изменений на модель.

Мониторинг дрейфа модели: отслеживайте дрейф модели, который возникает, когда распределение входных данных меняется с течением времени, что приводит к снижению точности модели. Используйте такие методы, как профилирование данных и статистический анализ, для обнаружения и исправления дрейфа модели.

Обнаружение и устранение предвзятости: отслеживайте предвзятость в модели, которая возникает, когда модель дает неточные или несправедливые результаты для определенных групп людей. Используйте такие методы, как метрики справедливости и анализ чувствительности, чтобы обнаружить и скорректировать систематическую ошибку в модели.

Отслеживание версий и происхождения модели. Отслеживайте версии и происхождение модели, документируя изменения, вносимые в модель с течением времени, и влияние этих изменений на производительность модели.

Внедрение предупреждений и уведомлений. Внедрите механизмы предупреждений и уведомлений, чтобы гарантировать, что заинтересованные стороны будут уведомлены в режиме реального времени при обнаружении проблем с моделью. Это может включать в себя автоматические оповещения по электронной почте или текстовым сообщениям или интеграцию с панелями мониторинга.

Убедитесь, что ваши модели не уплывают в океан несоблюдения

Дрейф модели является критической проблемой в машинном обучении и может возникать, когда распределение входных данных изменяется с течением времени, что приводит к тому, что модель становится менее точной или эффективной. Это может привести к катастрофическим проблемам в отношении выходных данных модели, поведения и действий, если не будет в достаточной степени регулироваться. Действительно, наличие инфраструктуры MLOps позволяет организациям быстро и изящно развертывать обновления модели. Все события, подлежащие аудиту, которые могут продемонстрировать курс корректирующих действий, были администрированы для предотвращения дальнейшего воздействия на клиентов/бизнес.

Мониторинг дрейфа модели требует отслеживания нескольких ключевых показателей, которые могут помочь обнаружить изменения в распределении данных. Внедрение этих сдержек и противовесов с помощью автоматизированного тестирования и проверки является дополнительной гарантией того, что ваши группы по обработке и анализу данных остаются на правильной стороне ваших этических норм и средств контроля за соблюдением требований. Как правило, вашей организации следует рассмотреть возможность проведения следующих тестов, чтобы предотвратить дрейф модели.

Распределение входных данных. Отслеживайте распределение входных данных во времени, отслеживая изменения среднего значения, дисперсии и других статистических показателей. Используйте такие методы, как профилирование данных и статистический анализ, для выявления изменений в распределении данных.

Показатели производительности модели. Отслеживайте показатели производительности модели машинного обучения с течением времени, отслеживая изменения точности, точности, отзыва и оценки F1. Сравните показатели производительности с показателями из обучающих данных, чтобы определить потенциальный дрейф.

Важность функций. Отслеживайте важность функций в модели машинного обучения с течением времени, отслеживая изменения относительной важности различных функций. Используйте такие методы, как важность перестановки, чтобы определить изменения в важности функции.

Анализ ошибок. Проведите анализ ошибок, чтобы определить типы ошибок, совершаемых моделью машинного обучения с течением времени. Это может помочь определить изменения в распределении данных и влияние этих изменений на производительность модели.

Обнаружение выбросов: отслеживайте выбросы во входных данных с течением времени, отслеживая изменения частоты и серьезности выбросов. Используйте такие методы, как кластеризация и обнаружение аномалий oPs, для выявления выбросов.

Очевидно, что внедрение этих тестов является тонкой балансировкой и должно применяться на основе подхода, основанного на оценке рисков. Организации могут довольно легко прибегнуть к универсальному подходу к управлению отклонением модели, и это в конечном итоге приводит к «тяжеловесным корпоративным» средам MLOps. Мы наблюдали похожую картину, когда несколько лет назад отрасль была одержима единым конвейером CI-CD в рамках движения DevOps. Подключение к ServiceNow и, в конечном счете, существенное раздувание процесса, связанного со скоростью и контролем в унисон.

Я пытаюсь продемонстрировать это на изображении ниже, из которого следует, что чем выше риск того, что модель нанесет ущерб или нанесет ущерб клиентам, организации или шире рынок, тем более высокий уровень тестирования и проверки требуется для соответствия внутренней этике. и стандарты соответствия.

«Один конвейер, чтобы управлять ими всеми» — это не ответ, и организациям необходимо искать способы, с помощью которых они могут интегрировать доверие в свои команды по науке о данных и продуктам данных, чтобы они могли выбирать правильные инструменты для своего случая использования. Все это в соответствии с централизованно установленными этическими и управленческими мерами.

В итоге

В заключение, создание надежной структуры MLOps имеет решающее значение для организаций, стремящихся внедрить технологии машинного обучения и искусственного интеллекта, а также обеспечить соответствие этическим и управленческим структурам. Внедряя передовой опыт, такой как контроль версий, мониторинг моделей и шлюзы соответствия, в конвейер MLOps, организации могут создавать точные, надежные и прозрачные модели машинного обучения, соответствующие этическим и юридическим стандартам.

Кроме того, организациям важно постоянно отслеживать и улучшать свою структуру MLOps по мере развития моделей машинного обучения и появления новых технологий и методов. При этом они могут повысить эффективность и действенность своих моделей машинного обучения, а также укрепить доверие клиентов, внутренних заинтересованных сторон и внешних регулирующих органов.

В конечном счете, надежная структура MLOps имеет решающее значение для организаций, стремящихся оставаться впереди в быстро развивающейся области машинного обучения и искусственного интеллекта, а также гарантировать, что их модели заслуживают доверия, этичны и соответствуют их более широким структурам управления. При этом они смогут двигаться быстро, не нарушая прозрачности.