Глубокое обучение оказалось очень успешным при работе с изображениями как данными и в настоящее время находится на этапе, когда оно работает лучше, чем люди, в нескольких случаях использования. Наиболее важные проблемы, которые люди интересовались решением с помощью компьютерного зрения, — это классификация изображений, обнаружение объектов и сегментация в порядке возрастания их сложности.

В то время как в старой доброй задаче классификации изображений нас просто интересует получение меток всех объектов, присутствующих на изображении. При обнаружении объектов мы идем дальше и пытаемся узнать, какие объекты присутствуют на изображении, а также местоположение, в котором эти объекты присутствуют, с помощью ограничительных рамок. Сегментация изображения выводит его на новый уровень, пытаясь точно определить точную границу объектов на изображении.

Что такое сегментация изображений?

Мы знаем, что изображение — это не что иное, как набор пикселей. Сегментация изображения — это процесс классификации каждого пикселя изображения, принадлежащего к определенному классу, и, следовательно, ее можно рассматривать как проблему классификации для каждого пикселя. Существует два типа методов сегментации

  • сегментация: — семантическая сегментация — это процесс классификации каждого пикселя, принадлежащего определенному ярлыку. Он не отличается для разных экземпляров одного и того же объекта. Например, если на изображении 2 кошки, семантическая сегментация дает одинаковую метку всем пикселям обоих кошек.
  • Сегментация экземпляров. Сегментация экземпляров отличается от семантической сегментации тем, что она дает уникальную метку каждому экземпляру определенного объекта на изображении. Как видно на изображении выше, всем трем собакам присвоены разные цвета, т.е. разные ярлыки. При семантической сегментации всем им был бы присвоен один и тот же цвет.

Существует множество достижений в алгоритмах сегментации и наборах данных с открытым исходным кодом. Но для решения конкретной проблемы в вашем домене вам все равно потребуются изображения с человеческими метками или проверка с участием человека. В этой статье мы рассмотрим некоторые нюансы маркировки задач сегментации и то, как рабочая сила, основанная на людях, может работать в тандеме с подходами, основанными на машинном обучении.

Для обучения модели машинного обучения вам нужны высококачественные метки. Успешный проект маркировки данных для сегментации зависит от трех ключевых компонентов.

  • Инструменты для маркировки
  • Обучение
  • Управление качеством

Инструменты маркировки

На рынке существует множество инструментов с открытым исходным кодом и коммерчески доступных инструментов. В objectways мы обучаем нашу рабочую силу с помощью Open CVAT, который предоставляет полигональный инструмент с интерполяцией и вспомогательными инструментами, которые обеспечивают в 4 раза большую скорость при маркировке, а затем мы используем инструмент, который соответствует варианту использования.

Вот ведущие инструменты, которые мы рекомендуем для маркировки. Для эффективной маркировки отдайте предпочтение инструменту, который позволяет выполнять предварительную и вспомогательную маркировку с использованием таких методов, как Deep Extreme Cut или Grab cut, а также с хорошими возможностями просмотра, такими как элементы управления непрозрачностью каждой этикетки.

Обучение персонала

В то время как ресурс легче обучить выполнению простых задач с изображениями, таких как классификация или ограничивающие рамки, задачи сегментации требуют большего обучения, поскольку они включают несколько механизмов для оптимизации времени, повышения эффективности и снижения утомляемости сотрудников. Вот несколько простых тренировочных приемов

  • Используйте вспомогательные инструменты. Аннотатор может начать с простой кисти или многоугольного инструмента, который ему будет легко освоить. Но при больших объемах эти инструменты, как правило, вызывают мышечную усталость, поэтому важно использовать вспомогательные инструменты.
  • Постепенно вводите сложные задачи. Аннотаторы всегда хорошо справляются с выполнением одной и той же задачи более эффективно со временем и должны быть частью программы обучения. В Objectways мы, как правило, начинаем обучение с введения аннотаторов с простыми изображениями с относительно простыми формами (автомобили/автобусы/дороги) и переносим их на использование сложных форм, таких как растительность, барьеры.
  • Используйте различные доступные предварительно размеченные наборы данных с открытым исходным кодом. Также важно обучать персонал с использованием различных наборов данных, и мы используем PascalVoc, Coco, Cityscapes, Lits, CCP, Pratheepan, Inria Aerial Image Labeling.
  • Предоставление отзывов. Также важно предоставлять своевременные отзывы об их работе, поэтому мы используем метод золотого набора, созданный нашими старшими комментаторами с точностью 99,99%, и используем его для предоставления отзывов комментаторам во время обучение.

Управление качеством

В машинном обучении существуют различные методы для понимания и оценки результатов модели.

  • Пиксельная точность. Пиксельная точность — это основной показатель, который можно использовать для проверки результатов. Точность достигается за счет отношения правильно классифицированных пикселей к общему количеству пикселей.
  • Пересечение по объединению: IOU определяется как отношение пересечения наземной истины и прогнозируемых результатов сегментации по их объединению. Если мы рассчитываем для нескольких классов, рассчитываются долговые расписки каждого класса и берется их значение. Это лучшая метрика по сравнению с точностью пикселей, так как если каждый пиксель указан в качестве фона во входных данных 2-го класса, значение IOU равно (90/100+0/100)/2, т.е. 45% IOU, что дает лучшее представление по сравнению с 90% точность.
  • Оценка F1.Метрика, широко используемая в классификации, может использоваться для задач сегментации, а также для устранения дисбаланса классов.

Если у вас есть помеченный набор данных, вы можете ввести золотой набор в конвейер маркировки и использовать одну из оценок для сравнения меток с вашими собственными базовыми данными. Мы фокусируемся на следующих аспектах для улучшения качества маркировки

  1. Понимание инструкций по маркировке. Никогда не недооценивайте важность хороших инструкций по маркировке. Как правило, инструкции разрабатывают специалисты по обработке и анализу данных, которые умеют выражать то, что хотят, с помощью примеров. Человеческий мозг имеет естественную тенденцию придавать значение (и запоминать) негативным переживаниям или взаимодействиям больше, чем позитивным — они больше выделяются. Таким образом, важно предоставить плохие примеры маркировки. Внимательное прочтение инструкций часто устраняет многие системные ошибки в задачах.
  2. Предоставление своевременных отзывов.Хотя многие сотрудники используют многоуровневую квалифицированную рабочую силу, где сотрудники уровня 1 менее опытны, чем команда контроля качества, важно предоставлять своевременные отзывы комментаторам уровня 1, чтобы они понимали непреднамеренные ошибки маркировки, поэтому они не делать этих ошибок в будущих задачах
  3. Тщательный аудит качества. Многие инструменты предоставляют хорошие показатели для отслеживания добавления/удаления или изменения ярлыков с течением времени. Точно так же, как алгоритмы должны сходиться и уменьшать функцию потерь, время контроля качества конкретной задачи и предлагаемых изменений должно сходиться к частоте ошибок менее 0,01%. В objectways у нас есть специальные команды контроля качества и суперконтроля контроля качества, которые имеют постоянный послужной список для достижения точности более 99%.

Сводка

Мы обсудили передовые методы управления сложными крупномасштабными проектами сегментации и предоставили рекомендации по инструментам, повышению квалификации персонала и управлению качеством. Пожалуйста, свяжитесь с [email protected], чтобы оставить отзыв или если у вас есть какие-либо вопросы.