Эксперименты по отслеживанию не распространены среди специалистов по анализу данных. Однако отслеживание имеет много преимуществ.
Отслеживание экономит время
Сколько раз вы повторяли обучение модели с одними и теми же параметрами снова и снова?
Отслеживая эксперименты (активность по регистрации параметров, зависимости результатов, код и данные), вы можете вернуться в прошлое и проверить, какие параметры, результаты и данные использовались для достижения наилучшего результата.
Отслеживание также экономит ваше время, зная, какие зависимости и версия были использованы. Это полезно, когда вы развертываете свою модель и хотите знать, какой пакет находится в производстве.
Отслеживание также может помочь вам воспроизвести результаты конкретного эксперимента, если вы не сохранили свою модель.
Отслеживание сэкономить деньги
В контексте глубокого обучения и больших наборов данных эксперименты в облачной среде могут стоить от сотен до тысяч долларов.
Отслеживание ваших экспериментов поможет вам избежать переобучения моделей с одинаковыми параметрами и избежать длительного и дорогостоящего обучения больших моделей DL.
При обучении модели DL полезно отслеживать модель с данными эксперимента, чтобы избежать воспроизведения экспериментов.
Отслеживание улучшает сотрудничество
Все больше и больше специалистов по данным сотрудничают, делясь кодом и данными.
К сожалению, специалистам по данным, которые владеют этими данными и кодом, приходится выяснять производительность и зависимости моделей.
Отслеживая и обмениваясь экспериментами, другие специалисты по данным могут быстрее выяснить поведение моделей и избежать ошибок, связанных с зависимостями кода.
Инструменты для отслеживания ваших экспериментов
Сегодня существует множество инструментов для отслеживания ваших экспериментов.
Mlflow (mlflow.org): платформа с открытым исходным кодом для жизненного цикла машинного обучения.
Sacred (github.com/IDSIA/sacred): Sacred - это инструмент, помогающий настраивать, организовывать, регистрировать и воспроизводить эксперименты.
Comet (www.comet.ml): Comet позволяет отслеживать код, эксперименты и результаты проектов машинного обучения. Это быстро, просто и бесплатно для проектов с открытым исходным кодом.
Datmo (www.datmo.com): инструмент с открытым исходным кодом для отслеживания и воспроизводимости экспериментов по машинному обучению.
MokaML - это платформа для специалистов по данным , которая позволяет разрабатывать, экспериментировать и развертывать ваши модели в одном месте. Посетите нас на mokaml.ai.
