Как и было обещано в моем последнем письме чуть более 2 месяцев назад, я хочу продолжить тему жизненного цикла ML Ops более подробно! Мы все знаем, как предприятия переходят от описательной к предписывающей аналитике, переходя от реактивного режима к более активному или предиктивному режиму. Мы также видим, что инвестиции в ИИ растут как на дрожжах в организациях, как больших, так и малых. Для этого есть много причин, начиная с того, что клиенты становятся более технически подкованными за счет цифровой трансформации предприятий. И да, пандемия covid и культура работы из дома ускорили эту цифровую трансформацию.

Теперь давайте вернемся к нашей теме ML Ops и ее необходимости. Многие организации знают, что операционализация ИИ даст их компании столь необходимое конкурентное преимущество, но многие терпят неудачу или пытаются сделать это. Типичное представление состоит в том, что приложения ИИ в основном представляют собой модели машинного обучения, но это не так, на самом деле все обстоит наоборот. Модели машинного обучения занимают крошечную часть всех приложений ИИ, но важная часть связана с процессом и постоянными улучшениями, а также с тем, как с ними можно справиться без проблем. На самом деле, модели машинного обучения — это крошечная часть всего процесса, где нам нужна поддержка со стороны множества других компонентов этого процесса, начиная с конфигурации, сбора данных, извлечения и разработки функций, проверки данных, управления ресурсами машинного обучения, процесса приложений. управление, анализ, инфраструктура обслуживания и, наконец, аспекты мониторинга!

В настоящее время многие фирмы по-прежнему работают с машинным обучением с изолированными научными данными и ИТ-операциями. В то время как группы специалистов по обработке и анализу данных создают модели машинного обучения, проводят обучение и т. д., в среде обучения моделей они передаются ИТ-специалистам или командам разработчиков для подготовки среды обслуживания модели, а затем развертывания модели и т. д. Здесь вы видите неработающую связь (поскольку нет надлежащей передачи между специалистами по обработке и анализу данных и командами разработчиков или ИТ-специалистов), поскольку модели машинного обучения, развернутые разработчиками или ИТ-специалистами, вскоре устаревают и требуют чтобы часто обновляться, и именно здесь зародилось управление жизненным циклом ML Ops! Модель машинного обучения необходимо постоянно и постоянно отслеживать и обновлять все новыми и новыми данными и параметрами, чтобы делать или улучшать прогнозы на регулярной основе. Именно здесь повышается уровень доверия клиентов/пользователей, и вы можете реально провести машинное обучение на 360 градусов и обеспечить лучшие результаты. Ключевое различие между dev Ops и ML Ops заключается в том, что в то время как dev Ops зависит от кода, ML Ops в основном зависит от данных, что само по себе является огромной разницей. и заставляет модель ML со временем разрушаться, если ее не обновлять и не поддерживать должным образом. Жизненный цикл машинного обучения должен преодолевать множество границ, начиная от проектирования данных и науки о данных, заканчивая проектированием машинного обучения, разработкой программного обеспечения и разработкой операционных систем. Следовательно, необходимо надлежащее сотрудничество через эти различные границы и команды. Именно здесь ML Ops может помочь обеспечить непрерывные инновации в области искусственного интеллекта на 4 больших этапах жизненного цикла ML:

  1. Идея бизнес-проблемы: потребности заинтересованных сторон, создание вариантов использования, стратегические цели и задачи.
  2. Расстановка приоритетов и уточнение проблемы: оценка бизнес-кейса, планирование ресурсов, методология и стандарты, консультации по архитектуре, управление портфелем.
  3. Модель машинного обучения — экспериментирование, обучение, сборка, тестирование, развертывание: покупка, сборка и партнерство, интегрированное машинное обучение, проверка, развертывание, управление выпуском.
  4. Сопровождение моделей машинного обучения: специальные группы поддержки, помогающие поддерживать и улучшать модели машинного обучения.

Культура инноваций и то, как она интегрирована в среду разработки компании, также сильно влияют на то, как могут происходить инновации в области ИИ, которые помогают упростить процесс управления жизненным циклом ML Ops. По сути, важно не заставлять людей вносить трудные изменения, а сделать так, чтобы само изменение было легко вносить! Это помогает формировать культуру инноваций, которая, в свою очередь, помогает открывать инновации, а не создавать их! Этот процесс упрощения изменений очень помогает в инновациях ИИ, где огромную роль играет управление жизненным циклом ML Ops.

На следующем рисунке показан основной поток в жизненном цикле ML Ops.

Давайте теперь раскроем различные этапы управления жизненным циклом ML Ops, которые упрощают этот процесс:

  1. Организованные эксперименты по машинному обучению. Это самый важный шаг, на котором инженеры и специалисты по данным могут использовать различные источники автономных данных и проводить организованные эксперименты, выполняя анализ и проверку данных. , подготовка данных, обучение модели, оценка модели и проверка модели. Эти организованные эксперименты помогают понять бизнес-проблему и понять, как создавать модели машинного обучения с использованием некоторых автономных источников данных.
  2. Источники данных и коннекторы. После того, как эксперименты с машинным обучением будут завершены при первоначальных настройках, настало время подключиться к реальным источникам данных, таким как базы данных или озера данных или хранилища данных и т. д., а также настроить эти соединения.
  3. Разработка функций/функций. Это важный этап, на котором вы выполняете фактическую очистку данных, извлечение и выбор функций и т. д. Это поможет вам понять, как функции разрабатывались для одного какой-то сценарий, или география, или контекст могут быть применены к другому сценарию, географии или контексту! Хранилище функций играет большую роль в хранении этих экспериментов с функциями и пайплайнов.
  4. Автоматические конвейеры обучения и вывода. Вы можете получить доступ к обновлениям, внесенным в хранилище функций, на шагах 1 и 3, которые составляют основу для этих автоматизированных конвейеров. Здесь вы готовитесь к постановке, пре-продакшну и производству. Извлечение основных данных, проверка данных, подготовка данных, обучение модели, оценка модели и проверка модели выполняются на этом производственном этапе. Все модели хранятся/сохраняются в хранилище метаданных моделей машинного обучения.
  5. Регистрация модели машинного обучения. После проверки модели на шаге 4 эти модели регистрируются и обучаются.
  6. Непрерывная разработка и обслуживание моделей машинного обучения. На этом этапе обученные модели извлекаются, обслуживаются и развертываются для использования в реальных приложениях. Вы запустите и увидите фактические прогнозы, и эти прогнозы в дальнейшем будут встроены в бизнес-приложения.
  7. Мониторинг моделей машинного обучения. Это последний шаг, на котором все модели машинного обучения постоянно отслеживаются на предмет любых проблем с производительностью, проблем с данными и т. д. Вы можете перейти к шагу 4, чтобы выполнить обновление набора данных или обновление дополнительных функций и проверка/обучение/развертывание с использованием более новых моделей машинного обучения. Это завершает аспект более плавного управления жизненным циклом ML Ops, где по своей сути достигаются аспекты CI/CD ML.

На любом этапе описанного выше жизненного цикла ML Ops вы можете вносить изменения и легко развертывать или тестировать новые инновации, которые помогут вам вносить новшества в свои бизнес-процессы.

Я также сделал подкаст с экспертом по искусственному интеллекту на эту тему, и вы можете послушать его на досуге!

В следующем блоге я хотел бы кратко рассказать о различных аспектах интеллекта, таких как слушание/говорение, предвидение, оптимизация, обучение и выполнение задач, в которых используются ключевые столпы ИИ, такие как разговорный ИИ, механизм оповещения и IoT. Машинное обучение и прогнозная аналитика, роботизированная автоматизация процессов и автоматизация рабочих процессов и т. д.

До следующего раза, следите за обновлениями и с удовольствием предсказывайте будущее с помощью технологий искусственного интеллекта!