Введение:

Мы сосредоточены на выполнении одной задачи за раз в большинстве сценариев машинного обучения. Какой бы ни была эта задача, проблема обычно формулируется как использование данных для решения одной задачи за раз или для оптимизации одного показателя. Размер набора данных или способность модели извлекать из него значимые представления в конечном итоге приведут к тому, что эта стратегия достигнет потолка производительности, что часто происходит.

Способность передавать знания между рабочими местами является врожденной для человека. Мы применяем знания, полученные при изучении одного вида деятельности, для решения смежных задач таким же образом. Мы можем легче передавать или использовать наши знания в разных задачах, если они тесно связаны друг с другом. Простые иллюстрации включают

  • Уметь ездить на мотоцикле ⮫
  • Научитесь ездить на машине
  • Уметь играть на классическом фортепиано ⮫
  • Научитесь играть на джазовом фортепиано
  • Знать математику и статистику ⮫
  • Изучите машинное обучение

С другой стороны, многозадачное обучение — это стратегия машинного обучения, в которой мы пытаемся одновременно изучать несколько задач, одновременно оптимизируя несколько функций потерь. Мы позволяем одной модели учиться выполнять все задачи одновременно, а не обучать отдельные модели для каждой задачи. Модель изучает обобщенные представления данных, применимые в различных контекстах, используя все данные, доступные для различных задач.

Использование многозадачного обучения стало обычным явлением в различных областях, включая рекомендательные системы, компьютерное зрение и обработку естественного языка. Благодаря своей способности эффективно использовать огромные объемы данных для решения связанных проблем, он также часто используется в промышленности, например, в Google.

Что такое многозадачное обучение:

Раздел машинного обучения под названием «многозадачное обучение» использует сходство между несколькими задачами, чтобы попытаться решить множество разных задач одновременно. Это может повысить эффективность обучения и послужить регуляризатором, о котором мы поговорим позже.

Формально многозадачное обучение (MTL) поможет улучшить изучение конкретной модели, используя знания, содержащиеся во всех n задачах, если есть n задач (обычные подходы к глубокому обучению направлены на решение только 1 задачи с использованием 1 конкретной модели). ), где эти n задач или их подмножество связаны друг с другом, но не полностью идентичны.

ТАКОЙ КАК

  • КЛАССИФИКАЦИЯ
  • ОБНАРУЖЕНИЕ ОБЪЕКТОВ
  • МАСКА СЕГМЕНТАЦИИ

Когда использовать многозадачное обучение:

Крайне важно сначала рассмотреть случаи, в которых многозадачное обучение подходит и не подходит, прежде чем углубляться в тонкости того, как применить парадигму многозадачного обучения на практике.

Многозадачное обучение обычно полезно, когда между задачами есть какая-то связь. Другими словами, при наличии базовых концепций или фрагментов знаний, которые используются совместно на протяжении всей деятельности, многозадачное обучение повышает производительность.

Например, вполне вероятно, что две задачи, требующие классификации изображений животных, будут связаны, поскольку обе предполагают обучение распознаванию узоров и цветов меха. Поскольку изучение этих визуальных качеств полезно для обоих видов деятельности, это было бы отличным вариантом использования для многозадачного обучения.

С другой стороны, обучение нескольким задачам может иногда вызывать негативный перенос, когда многозадачная модель уступает соответствующим однозадачным моделям. Обычно это происходит, когда несколько задач не связаны друг с другом или когда знания, полученные в ходе одной деятельности, противоречат знаниям, полученным в ходе другой задачи.

Преимущество многозадачного обучения:

  • Уменьшение переобучения: как при жестком, так и при программном совместном использовании параметров, чем больше задач мы изучаем одновременно, тем больше модель MTL должна отдавать предпочтение представлению, которое отражает цель всех задач. Это значительно снижает вероятность переобучения.
  • Неявное увеличение данных: MTL эффективно увеличивает размер выборки, которую мы используем для обучения нашей модели. Поскольку все задачи, по крайней мере, несколько зашумлены, при обучении модели на некоторой задаче A наша цель состоит в том, чтобы получить хорошее представление для задачи A, которое в идеале игнорирует шум, зависящий от данных, и хорошо обобщает. Поскольку разные задачи имеют разные характеристики шума, модель, которая изучает две задачи одновременно, может получить более общее представление.
  • Сосредоточьтесь на релевантных функциях . Если задача очень зашумлена или данные ограничены и многомерны, модели может быть трудно отличить релевантные функции от нерелевантных. MTL может помочь модели сосредоточить внимание на тех функциях, которые действительно важны, поскольку другие задачи предоставят дополнительные доказательства актуальности или нерелевантности этих функций.

ЧТО ТАКОЕ ТРАНСФЕРНОЕ ОБУЧЕНИЕ:

Когда мы стремимся изучить новые концепции или элементы в любом из вышеупомянутых случаев, мы не изучаем все с самого начала. Мы используем то, чему научились в прошлом, чтобы передавать и использовать наши знания! До сих пор классические алгоритмы машинного обучения и глубокого обучения создавались для независимой работы. Эти алгоритмы были отточены для выполнения определенных заданий.

Как только распределение пространственных признаков изменится, модели должны быть воссозданы с нуля. Концепция трансферного обучения заключается в том, чтобы преодолеть парадигму изолированного обучения и использовать полученные знания для решения одной проблемы, чтобы решить другие, похожие. Теория, широта и практическое применение трансферного обучения будут подробно рассмотрены в этом эссе вместе с несколькими примерами из реальной жизни.

Понимание трансферного обучения:

Первое, что нужно иметь в виду, это то, что трансферное обучение, которое очень характерно для глубокого обучения, не является новым понятием. Традиционный способ создания и уточнения моделей машинного обучения и методология, основанная на принципах трансфертного обучения, сильно отличаются друг от друга.

Традиционное обучение является уединенным и опирается только на ограниченное количество задач, наборов данных и обучение отдельных изолированных моделей. Никакая информация, которая может быть применена к другой модели, не сохраняется. Благодаря трансферному обучению вы можете обучать новые модели, используя знания (функции, веса и т. д.) из более старых моделей, которые уже были обучены, и даже решать такие проблемы, как отсутствие меньшего количества данных для нового задания!

Проблемы трансферного обучения:

Трансферное обучение с его огромным потенциалом часто необходимо для улучшения существующих алгоритмов обучения. Однако существуют некоторые важные проблемы, связанные с трансфертным обучением, которые требуют дальнейшего изучения. Помимо сложности определения того, что, когда и как передавать, отрицательный перенос и границы переноса создают значительные трудности.

Отрицательный перенос:

В ситуациях, которые мы исследовали до сих пор, мы говорили о том, как информация об исходной задаче передается целевым задачам для их улучшения. В некоторых случаях трансферное обучение может привести к снижению производительности. Отрицательный перенос описывает ситуации, когда передача информации от источника к целевой задаче приводит к снижению общей производительности, а не к улучшению. Отрицательный перенос может происходить по ряду причин, например, когда исходная задача недостаточно связана с целевой задачей или когда метод переноса не может полностью использовать взаимосвязь между исходной и целевой задачами.

Привязка передачи:

Чтобы определить качество и жизнеспособность переноса, крайне важно количественно оценить перенос в трансферном обучении. Хасан Махмуд и его соавторы использовали сложность Колмогорова, чтобы продемонстрировать некоторые теоретические границы для оценки трансферного обучения и количественной оценки связи между задачами, чтобы оценить объем трансфера. Eaton и их соавторы представили инновационный графовой подход к измерению передачи знаний. Основное внимание в этом эссе не распространяется на подробное объяснение этих стратегий. Используя перечисленные здесь книги, читателям предлагается узнать больше об этих предметах!

Преимущества трансферного обучения:

Обычно трансферное обучение позволяет нам создавать более надежные модели, которые могут выполнять широкий спектр задач.

  • Помогает решать сложные реальные проблемы с несколькими ограничениями
  • Решайте такие проблемы, как низкая или почти полная доступность помеченных данных
  • Простота переноса знаний из одной модели в другую на основе доменов и задач
  • Обеспечивает путь к достижению общего искусственного интеллекта в будущем!