Автор: Алан Эстес, директор DecisivEdge™
Когда разразился кризис воспроизводимости науки, его последствия вышли далеко за рамки недоверия. Большое количество опубликованных экспериментов не могло быть проведено другими исследователями для получения таких же результатов.
Для ученых это был провал, потраченное впустую время и деньги. Компания, переживающая кризис воспроизводимости, связанный с проектами машинного обучения, будет эквивалентом «фискального Армагеддона». Но ваша компания может избежать кризиса воспроизводимости с помощью своих проектов машинного обучения.
Понимание воспроизводимости
Воспроизводимость в отношении машинного обучения означает, что вы можете многократно запускать свой алгоритм на определенных наборах данных и получать одинаковые (или похожие) результаты в конкретном проекте. Этот процесс включает в себя дизайн, отчетность, анализ и интерпретацию данных.
В идеальном мире внутренняя работа проекта машинного обучения должна быть воплощением прозрачности вычислений. Однако не всегда ясно, воспроизводим ли проект машинного обучения.
Изменения данных, разные программные среды или версии и множество других мелких вариаций могут привести к сбою. Частично эта проблема возникает из-за плохого подхода к реализации машинного обучения, например, когда сторонняя компания разрабатывает проект, но держит клиента в неведении об этом.
Важность воспроизводимости
Воспроизводимость повышает ценность любого цикла непрерывной интеграции или непрерывной поставки. Это позволяет выполнять эти действия гладко, поэтому внутренние изменения и развертывания для клиентов становятся рутиной, а не кошмаром.
Воспроизводимость помогает вашим командам уменьшить количество ошибок и неоднозначностей при переходе проектов от разработки к производству. Воспроизводимость обеспечивает согласованность данных, что может стать проблемой, если никто не уверен, что результаты проекта машинного обучения действительно верны.
Кроме того, воспроизводимое приложение машинного обучения естественным образом создается для масштабирования по мере роста вашего бизнеса. Внимание к обеспечению надлежащей архитектуры и кодирования конвейера позволит удовлетворить, как мы надеемся, растущий спрос на скорость и объем выполнения модели.
Кроме того, воспроизводимость создает доверие к продукту машинного обучения. Гарантии правильно спроектированного, созданного и развернутого проекта машинного обучения могут быть переданы через конвейер машинного обучения. Которые каскадируются через заинтересованные стороны проекта (стратегические группы, группы политики, операции, дизайн, соответствие / риски), которые доверяют компоненту ML проекта. Структура конвейера сообщает о необходимой прозрачности в организации.
Регулирующие органы внедряют правила, регулирующие использование машинного обучения в бизнесе. Отрасли с жестким регулированием уже понимают преимущества согласованности, надежности и прозрачности разработки воспроизводимых проектов машинного обучения. Ранее нерегулируемые отрасли теперь внезапно обнаруживают, что они несут ответственность за огромное количество документации и упражнений по рефакторингу кодовой базы.
Внедрение воспроизводимости в машинное обучение
Проекты машинного обучения должны начинаться с воспроизводимости. Его следует применять к каждому аспекту проекта. Все, от программного обеспечения и среды до разработки и развертывания, требует воспроизводимости.
Одним из важнейших шагов в создании воспроизводимых проектов является обеспечение того, чтобы документация начиналась с первого дня. Процесс документирования должен объяснять, почему был сделан определенный выбор, а также ряд важных деталей, необходимых для успешного выполнения проекта — то, что Филип Старк называет «воспроизводимостью». Он также должен отслеживать предлагаемые гипотезы, эксперименты и результаты.
Члены команды также должны создавать и развертывать с менталитетом конвейера. Это не относится к единой кодовой базе от начала до конца, которая выполняется для каждой гипотезы или запуска производственной модели, хотя это возможно. На самом деле, это обычно принимает форму последовательных модулей кода, которые выполняют функцию типичного шага разработки модели или оценки производства: например, сбор данных, разработка функций, сокращение функций (при разработке), настройка моделей-кандидатов (при разработке). , и подсчет очков. Тема — это результат одного шага, который является входом для следующего шага. Не существует предпочтительной предписанной методологии или структуры «конвейерной обработки»; выберите решение, которое подходит для вашей среды. Результатом является кодовая база, которую можно адаптировать к производству с минимальными трудностями, которую можно последовательно тестировать/отлаживать, которую можно эффективно масштабировать и, что наиболее важно, прозрачное и воспроизводимое приложение для машинного обучения.
Выбирайте экспертов для достижения успеха
Создание воспроизводимых проектов машинного обучения требует серьезного изменения мышления.
Рассматриваете проект машинного обучения? Свяжитесь со мной напрямую, чтобы узнать, как ваш бизнес может найти реальную ценность в наших услугах и помощи, необходимой для достижения успеха.
Об авторе:
Более трех десятилетий Алан Эстес использует данные для решения бизнес-задач, повышения качества обслуживания клиентов и автоматизации сложных задач. Лидер в области науки о данных, он успешно разработал и развернул множество решений для машинного обучения в стеке аналитических технологий с открытым исходным кодом. Алан руководил корпоративными проектами в различных бизнес-функциях на протяжении всего жизненного цикла продуктов финансовых услуг.
В DecisivEdge Алан отвечает за определение повестки дня и обеспечение устойчивого роста практики Data Science, следя за тем, чтобы специалисты компании по науке о данных разрабатывали эффективные решения для наших клиентов и укрепляли партнерские отношения с клиентами.
Первоначально опубликовано на https://www.decisivedge.com 9 октября 2019 г.
