Методы развертывания и платформы
Когда я слышу о модели, мне на ум приходит масштабный образец любого предмета, скажем, масштабный образец здания или города, созданный архитектором, масштабный образец торта, созданный пекарем, или образец выпечки, созданный кондитером. В мире данных модели машинного обучения не масштабируются, а являются частью законченного продукта, обеспечивающего практические решения конкретной проблемы или преимущества для бизнеса.
Развертывание модели машинного обучения — один из последних этапов жизненного цикла машинного обучения. Этот процесс позволяет модели демонстрировать свои знания и применять их в производстве для получения реальной ценности. Лучший метод развертывания модели определяется несколькими факторами, такими как:
- Как часто ваша модель должна генерировать прогнозы?
- Должны ли результаты модели основываться на отдельных случаях или на пакетах (маленьких/больших) случаев?
- Какую вычислительную мощность и объем памяти вы можете выделить для модели?
- Как скоро нужны результаты?
- Есть ли эксплуатационные и финансовые последствия для поддержания модели
Существует два (2) широко распространенных метода развертывания и несколько платформ развертывания.
Методы развертывания модели
Пакетный вывод и вывод в реальном времени (интерактивный) или онлайн-вывод.
Пакетный вывод
Работать в пакетах означает генерировать/создавать коллективно и периодически. Этот метод запускается через определенные промежутки времени и предоставляет результаты для набора данных, созданных в результате предыдущего запуска. Это полезно, когда результаты модели не нужны в режиме реального времени.
Преимущество заключается в том, что он не требует большого вычислительного пространства и большого хранилища данных. Поскольку ограничений по задержке нет, вы можете развертывать более сложные модели, которые могут обеспечить более точные результаты.
Вывод в реальном времени
При выводе в реальном времени модель доступна круглосуточно и без выходных и предоставляет результаты в режиме реального времени и по запросу. Хотя в большинстве случаев это звучит как желательная функция, ограничение задержки ограничивает. Поскольку результаты ожидаются в режиме реального времени, вы не можете использовать сложные модели. Кроме того, это требует больших вычислительных ресурсов, поскольку модель должна быть готова к запуску в любое время.
Платформы развертывания моделей
- Машинное обучение Azure
- ML поток
- Бумажное пространство
- КубеФлоу
- Лаборатория данных Домино
- Облачная кора Google
- Seldon.io
- AWS Sagemaker
- БентолМЛ
- Обслуживание TensorFlow
- Touchserve
Рекомендации
Пакетный инференс против онлайн-инференса — машинное обучение в производстве
3 шага к эффективному развертыванию модели машинного обучения (aimultiple.com)
