Хотите больше подробностей о MLOps? Обязательно подпишитесь на новостную рассылку MLOps Now.
Мониторинг моделей имеет решающее значение для успеха машинного обучения в бизнесе. Хорошо обученная модель может использовать преимущества больших и сложных наборов данных, чтобы значительно повлиять на принятие решений и прибыльность. Последнее место, где вы хотите быть, — это объяснять вашему боссу, почему модель прогнозирования по-крупному облажалась в бизнесе.
Мониторинг моделей — это не то же самое, что мониторинг онлайн-сервиса. Мониторинг программного обеспечения обычно ограничивается тем, насколько быстро оно работает и возникают ли сбои.
Для моделей необходимо учитывать эти вещи, а также отслеживать дрейф концепций, когда основные шаблоны меняются и делают модели менее точными.
Еще одна серьезная проблема возникает, когда результат прогноза не может быть подтвержден в течение нескольких недель или месяцев. Это может оставить предприятия с неуверенностью в эффективности модели до тех пор, пока не станет слишком поздно, и они не пострадают.
3 способа упростить мониторинг моделей
Хотя каждая реализация модели сопряжена с уникальными проблемами мониторинга, здесь можно использовать 3 стратегии. Они особенно эффективны для моделей, которые имеют значительное время задержки между предсказанием и подтверждением.
1. Мониторинг качества данных: мусор на входе, мусор на выходе
Надежная фраза, используемая специалистами по данным, естественно, применима и к моделям в производстве.
Если качество данных начинает ухудшаться выше по течению от модели, это повлияет на производительность модели. Это особенно коварно, когда данные присутствуют, но неверны. Отсутствие данных приведет к тому, что модель выдаст ошибку, событие, которое гораздо легче обнаружить. Например, данные в категориальной переменной, неправильно классифицированной, представляют собой гораздо более сложную проблему для идентификации.
Существует несколько способов контроля качества данных. Сравнение распределений данных с теми, которые использовались для обучения/тестирования модели, может помочь выявить потенциальные аномалии. Другой подход заключается в использовании пакетов проверки данных, таких как Большие надежды, для подтверждения качества данных перед их передачей в модель.
2. Следите за распределением прогнозов: отклонения указывают на дрейф
Подобно отслеживанию распределения поступающих данных, отслеживание распределения прогнозов — хороший способ определить, когда модель начинает дрейфовать. Создание значения, которое сравнивает распределение прогнозов во время обучения и сейчас, является отличной метрикой для добавления на панель мониторинга или в систему раннего предупреждения.
Изменения в дистрибутиве могут не обязательно указывать на низкую производительность, но они могут быть способом уведомить вас о том, когда следует провести расследование для проведения профилактического обслуживания, а не реактивного.
3. Следите за новостями: реальные события меняют данные
Просмотр новостей может быть не тем, о чем вы думаете при мониторинге моделей, но он может обеспечить эффективные ранние предупреждения.
Пандемия COVID-19 привела к тому, что поведение клиентов изменилось за одну ночь, и многие компании, использующие машинное обучение, пошатнулись, поскольку их модели больше не могли понимать своих клиентов.
Хотя мгновенные изменения в поведении клиентов мало что могут сделать, это дает важный урок о том, почему вы должны быть в курсе событий в мире.
Если вы финтех, а экономика начинает ухудшаться, поведение ваших клиентов неизбежно изменится. Это дает вам возможность собирать данные для переобучения вашей модели, чтобы, когда она слишком сильно дрейфует, ее можно было быстро скорректировать в соответствии с новым статус-кво.
Заключение
Мониторинг моделей — задача не из легких, но необходимая. Если ваши модели останутся точными и надежными с течением времени, это обеспечит устойчивость вашего бизнеса. Мониторинг качества данных, прогнозирование и новости — хорошие способы упростить мониторинг ваших моделей.
Если вы нашли эту статью полезной, обязательно:
- Дайте мне знать, что вы думаете.
- Подпишитесь на меня в Твиттере и поделитесь этой статьей со своими подписчиками.
- Подпишитесь на рассылку, чтобы получать более подробную информацию о MLOps.
Первоначально опубликовано на https://mlopsnow.com 25 апреля 2023 г.
