Подход метаобучения отличается от обычного машинного обучения тем, что он связан с задачами, а не с точками данных, и не опирается на предположение о том, что исходные гиперпараметры должны быть фиксированными.

Содержание

· Традиционное машинное обучение
· Метаобучение
· Терминология машинного обучения
· Методы метаобучения

Обычное машинное обучение

В обычном машинном обучении мы хотим изучить функцию, которая учится сопоставлять входные данные с соответствующими выходными данными. Параметры модели (веса в нейронных сетях) определяют поведение функции. На основе заданного набора данных цель состоит в том, чтобы узнать эти параметры, которые минимизируют эмпирическую функцию потерь, которая должна отражать работу модели. Чтобы измерить производительность этой модели, мы могли бы использовать отдельный набор тестовых данных, который содержит невидимые примеры, или мы могли бы использовать технику перекрестной проверки, при которой обучающие и тестовые разбиения многократно создаются из исходного набора данных и используются для обучения и оценки.

Метаобучение

Одним из ограничений вышеупомянутого метода обучения является то, что модель не может обобщаться на примеры за пределами данного набора данных. Кроме того, этому ограничению также способствует выбор начальных параметров, оптимизатора и графика скорости обучения.

Чтобы преодолеть это ограничение, было предложено метаобучение (ML), также известное как обучение обучению, цель которого в данном случае состоит в том, чтобы учиться на множестве разных наборов данных с различными наборами классов (задач) без доступа. к любым предопределенным знаниям, таким как начальные параметры и оптимизатор.

ML учится на задачах, а не на точках данных или примерах, а затем адаптируется к новым невидимым задачам. Другими словами, он учится на уровне задач, а не образцов и, следовательно, изучает системы обучения, не зависящие от задач, а не модели для конкретных задач. Следовательно, набор данных, используемый для обучения алгоритма ML, должен содержать множество наборов данных, и каждый из них представляет собой отдельную задачу.

Наиболее распространенный вариант использования ML — это проблема обучения за несколько шагов, когда доступно несколько примеров из конкретной задачи. Как и обычные методы глубокого обучения, ML обрабатывает задачи FSL в два этапа: (мета-)обучение и (мета-)тестирование. На этапе метапоезда модели предоставляется множество независимых контролируемых задач, чтобы научиться адаптироваться к будущим связанным задачам. На этапе метатеста модель тестируется на новой невидимой задаче, пространство меток которой не пересекается с пространством меток, видимым во время метапоезда.

На каждом этапе ML использует наборы поддержки и наборы запросов, которые выбираются из классов задачи в соответствии с парадигмой N-way k-shot, где будут выбраны N классов и k примеров из каждого класса. Набор поддержки используется для обучения сети этой задаче, а набор запросов используется для оценки ее производительности в этой конкретной задаче.

Терминология машинного обучения

В машинном обучении используется много терминов, которые не распространены в традиционной терминологии машинного обучения. Эти термины включают:

  • Задачи: термин Задача относится к набору классов, которые имеют некоторые общие черты. Например, набор задач может содержать автомобили (где классами могут быть автомобили, грузовики, автобусы и т. д.), животные (кошки, собаки, коровы и т. д.) и одежду (джинсы, рубашки и т. д.).
  • N-way k-shot: для обучения модели конкретной задаче обучение обычно включает случайную выборку N классов (способов) из этой задачи и k примеров (кадров) из каждого из этих классов.
  • Эпизод: мы можем думать об эпизоде ​​как об эпохе в традиционной терминологии машинного обучения, но для каждой задачи. Шаг обучения (эпоха) в МО обычно содержит много эпизодов.
  • Набор поддержки: набор классов, выбранных из задачи на основе стратегии N-way k-shot, используемый для обучения модели этой задаче. Он создается для каждого эпизода.
  • Набор запросов: создан из классов в наборе поддержки для оценки производительности модели в этой задаче.

Методы метаобучения

  • Мета-обучение на основе метрик

В методах, основанных на показателях, новые задачи могут быть изучены путем сравнения новых входных данных с примерными входными данными (метки которых нам известны) в пространстве изученных метаданных. Чем выше сходство между новым вводом и примером, тем больше вероятность того, что новый ввод будет иметь ту же метку, что и ввод примера. Эти методы не вносят никаких изменений в сеть при представлении новых задач, поскольку они основаны на сравнении входных данных в уже изученном пространстве признаков. Поэтому они считаются непараметрическим обучением, поскольку новая информация о задаче не поглощается параметрами сети. Некоторые методы обучения с несколькими выстрелами, в которых используются методы метаобучения на основе метрик, - это сиамские нейронные сети, сети сопоставления, прототипные сети и реляционные сети.

  • Метаобучение на основе моделей

Методы на основе моделей поддерживают внутреннее представление задачи с сохранением состояния. Таким образом, при представлении задачи они последовательно обрабатывают набор поддержки. На каждом временном шаге вводятся входные данные, которые изменяют внутреннее состояние модели. Поэтому внутреннее состояние может фиксировать соответствующую информацию о конкретной задаче, которую можно использовать для прогнозирования новых входных данных. Поскольку информация из предыдущих входов должна быть запомнена, основанные на модели методы имеют компонент памяти. Некоторые методы обучения с несколькими выстрелами, в которых используются методы, основанные на моделях, - это нейронные сети с расширенной памятью (MANN), метасети и простой нейронный внимательный метаобучающий (SNAIL).

  • Метаобучение на основе оптимизации

Методы, основанные на оптимизации, подходят к метаобучению как к задаче двухуровневой оптимизации для быстрого обучения. В этом подходе цель состоит в том, чтобы оптимизировать производительность базового учащегося в наборе задач путем адаптации параметров базового учащегося, специфичных для задачи. Это делается путем адаптации параметров, специфичных для задачи базового учащегося, а затем оптимизируется производительность по задачам. Одним из способов достижения этого с помощью методов, основанных на оптимизации, является использование стохастического градиентного спуска (SGD) для оптимизации параметров базовой модели. Некоторые методы обучения с несколькими выстрелами, в которых используются методы, основанные на оптимизации, — это метаобучение LSTM, метаобучение без учета модели (MAML) и мета-SGD.

Если вы считаете эту статью полезной, пожалуйста, аплодируйте и подпишитесь», чтобы узнать больше о вероятности. , линейная алгебра, исчисление, машинное обучение, глубокое обучение и компьютерное зрение, …