Сеён Ан

Функция обратного поиска изображений в Google Images показывает, что нейронные сети способны распознавать и классифицировать изображения. Но всегда ли они были точными? Не совсем. Вы, должно быть, сталкивались с чем-то подобным: вводили изображение собаки в Google Image, а в ответ получали сотни изображений панд. Почему это происходит?

Глубокие нейронные сети (ГНС) развились до такой степени, что они могут превосходно выполнять многие задачи, такие как компьютерное зрение и обработка естественного языка. Разработка продолжается, и сейчас мы в основном пытаемся обучить эти DNN, чтобы повысить их точность. Основная проблема с точностью заключается в том, что нейронные сети очень уязвимы для враждебных возмущений.

Например, взгляните на изображение ниже. Два изображения до и после добавления шума кажутся нам идентичными. Но для нейросети изображение справа кажется совсем другим объектом — пандой. Здесь шум, добавленный к изображению, будет враждебным возмущением, а методом обучения, который пытается решить эту проблему, путем создания этих нейронных сетей, менее уязвимых к возмущениям, будет называться состязательным обучением.

Глубинная задача состязательного обучения — нехватка данных для обучения — была частично решена благодаря недавно предложенному методу аугментации данных с использованием немаркированных в распространении (UID) данных. Но есть и недостатки: недоступность и зависимость от точности генератора псевдометок.

Чтобы компенсировать эти недостатки и улучшить обобщение как в состязательном, так и в стандартном обучении, мы предлагаем метод увеличения данных с использованием данных вне распространения (OOD): расширенное обучение данных вне распространения (OAT ).

Что такое состязательная тренировка?

Чтобы понять, почему для повышения точности и эффективности DNN необходимо дополнительное обучение данных вне распределения, мы должны понять, что такое состязательное обучение и почему оно важно.

Обучение со стороны злоумышленников – это процесс обучения, который включает изображения, подвергшиеся атаке со стороны злоумышленников, в качестве набора обучающих данных. Цель состязательного обучения — сделать ГНС более надежными, то есть сделать модели машинного обучения менее уязвимыми к возмущениям.

Метод полуконтролируемого обучения

В состязательном обучении нам нужно гораздо больше наборов данных, чем при стандартном обучении. Поскольку недостаточно использовать только помеченные данные, мы используем смесь помеченных и неразмеченных данных: что относится к методу полуконтролируемого обучения.

  • Контролируемое обучение: в качестве набора данных используются только помеченные данные.
  • Полууправляемое обучение: в качестве набора данных используются некоторые размеченные данные и большое количество неразмеченных данных.
  • Обучение без учителя: в качестве набора данных используются только немаркированные данные.

Надежные и ненадежные функции

Поскольку основная задача искусственного интеллекта — имитировать человеческий интеллект, процесс распознавания изображений также должен имитировать человеческий. Здесь важно различать надежные и ненадежные функции, которые являются двумя типами полезных функций в изображении.

  • Надежные функции: функции, которые могут воспринимать люди; Сильно коррелирует с ярлыком изображения.
  • Ненадежные функции: функции, которые люди не могут воспринять; Имеет слабую корреляцию с меткой изображения.

Было продемонстрировано, что существует компромиссное соотношение между устойчивостью к состязательным действиям и стандартной точностью. Состязательное обучение пытается решить эту проблему, создавая ненадежные признаки, не используемые при классификации изображений.

Данные вне распределения

Алгоритм классификатора должен иметь возможность распознавать возмущения (например, необычные примеры). Это связано с тем, что (1) существует высокая вероятность неправильной классификации этих возмущенных примеров и (2) неправильная классификация производится с высоким уровнем достоверности.

Данные вне распределения (OOD) очень близки к нормальным данным — большинство из них выглядят точно так же в человеческом глазу. Эти данные OOD могут быть близки к обычным данным (как размытые входные данные, подвергшиеся атаке со стороны злоумышленников) или даже принадлежать к новому классу, который DNN еще не обучены классифицировать.

Почему это важно? Например, обученные DNN часто используются для идентификации бактерий на основе геномных последовательностей, что в дальнейшем используется для диагностики и лечения смертельных заболеваний. За последние десятилетия были обнаружены новые классы бактерий, и мы хотим использовать наши DNN для классификации этих бактерий. Однако даже классификатор с высокой производительностью может ошибочно отнести одно заболевание к другому, потому что это данные ООП — из совершенно нового класса, который классификатор не обучен классифицировать.

В отличие от изображений собак или панд, которые, очевидно, не вызывают больших проблем, даже если они неправильно классифицированы, неправильная классификация геномов и бактерий вызовет большие проблемы. Такие реальные приложения показывают важность обнаружения OOD: как показывают недавние исследования, обнаружение OOD — это первый шаг к созданию классификаторов, которые «изящно терпят неудачу.

Расширенное обучение данных вне распространения

Мы предлагаем Расширенное обучение вне дистрибутива (OAT), которое представляет собой обучение объединению целевого набора данных D_t и набора данных OOD. Д_о.

Настройка набора данных OOD

Расширенное обучение вне дистрибутива

Наш алгоритм OAT представляет собой надежный алгоритм обучения, основанный на дополнении данных, для обучения потерь, который тщательно разработан, чтобы извлечь выгоду из дополнительных данных OOD. Данные OOD подаются в процедуру обучения со случайными метками.

  1. Всем выборкам данных OOD присваивается единая метка распределения. В ходе этого процесса мы можем использовать данные OOD для контролируемого обучения без дополнительных затрат. Данные OOD имеют гораздо меньше ограничений, чем данные Unlabeled In-Distribution (UID).
  2. Хотя данные OOD можно использовать для улучшения стандартного и надежного обобщения нейронных сетей, наша цель — повысить точность классификации нейронных сетей. Кроме того, состязательное обучение на парах выборок данных OOD и метки равномерного распределения влияет на вес как надежных, так и ненадежных функций. Таким образом, баланс между потерями из целевого набора данных D_t и набора данных OOD D_o важен для OAT. Таким образом, мы вводим следующий алгоритм с гиперпараметром α ∈ R^+ и обучаем их, как показано ниже:
  • Расширенная состязательная тренировка вне распространения (OAT-A)

  • Расширенное стандартное обучение вне распространения (OAT-S)

(x_t,y) : пара изображение-метка
L : функция потерь
S: набор враждебных возмущений
t_unif : метка универсального распространения
θ: сетевой параметр

Эксперименты

Наши теоретические результаты показывают, что такой способ подачи данных OOD помогает устранить зависимость от ненадежных функций и, следовательно, повышает надежность.

Мы создали наборы данных OOD из набора данных 80 миллионов крошечных изображений (80M-TI) и изменили размер ImageNet до размеров 64x64 и 160x160, разделив их на наборы данных, содержащие 10 и 990 классов, соответственно ImgNet 10 и ImgNet990.

Мы изменили размеры Places365 и VisDA-17 для экспериментов на ImgNet10 и обрезали наборы данных Simpson Characters (Simpson) и Fashion Product (Fashion) до размеров 32 × 32 для экспериментов на CIFAR10 и CIFAR100.

Приведенные ниже результаты показывают, что OAT улучшает надежное обобщение всех проверенных методов обучения состязательности независимо от целевого набора данных.

Стандартная: модель, которая обычно обучается на целевом наборе данных.
PGD : модель, обученная с использованием состязательного обучения на основе PGD на целевом наборе данных.
TRADES: модель, обученная с использованием TRADES на целевом наборе данных.
OAT_PGD: модель, обученная с помощью OAT на основе подхода PGD.
OAT_TRADES : модель, которая состязательно обучается с помощью OAT на основе TRADES.
OAT_D_o: модель, которая обычно обучается с помощью OAT с использованием набора данных OODD_o.

Приведенные ниже результаты показывают, что OAT по-прежнему улучшает надежное обобщение, даже когда используется много псевдоразмеченных данных.

*Результаты, показывающие эффективность ОАТ в стандартном обучении, можно найти в статье.

Будущие направления

Экспериментами, проведенными с различными наборами данных OOD, было доказано, что даже данные OOD, имеющие небольшую корреляцию с целевым набором данных с точки зрения человека, могут принести пользу надежному и стандартному обобщению с помощью предлагаемого метода. Таким образом, можно предположить, что между различными наборами данных существует общее пространство нежелательных признаков. Мы также можем сделать вывод, что, когда доступны дополнительные данные UID, OAT может улучшить производительность обобщения, даже если используются значительные псевдоразмеченные данные.

Важное открытие состоит в том, что обучение с данными OOD может удалить нежелательные вклады функций. Судя по экспериментальным результатам, сложно реализовать сильные атаки противника во время обучения состязательности — над этим можно было бы поработать. Более того, если мы количественно оценим степень, в которой нежелательные функции являются общими между целевым набором данных и набором данных OOD с сильными состязательными атаками с использованием сконструированных данных OOD, мы могли бы стать на шаг ближе к созданию нейронной сети, которая распознает собаку как собаку даже после сильного возмущения. был добавлен.

Благодарности

Мы благодарим Saehyung Lee и соавторов статьи «Удаление нежелательных вкладов функций с использованием данных вне распространения» за их вклад и обсуждения при подготовке этого блога. Взгляды и мнения, выраженные в этом блоге, принадлежат исключительно авторам.

Этот пост основан на следующем документе:

  • Удаление нежелательных вкладов функций с использованием данных вне распространения, Сэхён Ли, Чанхва Пак, Хюнгю Ли, Джихун Йи, Джонхён Ли, Сонгро Юн∗, Международная конференция по образовательным представлениям (ICLR) 2021, arXiv , Гитхаб.

Первоначально опубликовано в нашем блоге Notion 15 марта 2021 г.