В этой статье вы узнаете, что такое состязательное машинное обучение и как его применять в конкретных случаях.
Реальные случаи, в которых применяются модели машинного обучения, должны справляться с вариациями данных, которые они используют для обучения. Действительно, правила, которым модель учится на обучающем наборе данных, изменятся со временем. Этот обучающий набор данных должен быть обновлен, чтобы оставаться актуальным и позволять моделям быть эффективными в их работе по прогнозированию.
Именно в этом контексте появляется состязательное машинное обучение. Поскольку новые инновации появляются каждый день, заставляя компании сосредотачиваться на своей релевантности рынку, модели машинного обучения сталкиваются с чем-то подобным, поскольку их самая ценная поддержка, данные, из которых они состоят, нестабильна. и изменение.
Однако в машинном обучении это преобразование данных, делающее модели устаревшими, может быть не естественным или случайным, а результатом того, что мы называем злоумышленником. Идея состоит в том, что человек, знающий, что сталкивается с моделью с недостатками, найдет недостатки, преобразовав набор данных или просто поняв, что он делает, чтобы, наконец, избавиться от него.
Концепцию состязательного машинного обучения можно рассматривать как:
игра мини-макс, в которой злоумышленник стремится максимизировать вероятность обмана классификатора, в то время как классификатор стремится минимизировать свой риск в таком наихудшем случае.
В любом противоречивом контексте защищающаяся сторона сталкивается с атакующей стороной, которая пытается обмануть модель.
Наконец, мы можем описать состязательное машинное обучение по его цели:
формально исследовать проблемы, возникающие при использовании методов машинного обучения в среде со враждебными действиями, в которых интеллектуальный злоумышленник пытается использовать слабые места в таких методах.
Теперь давайте проиллюстрируем это на разных типах задач…
Примеры состязательного машинного обучения
Прежде чем перейти к существующим методам злоумышленников и защитников, давайте посмотрим, как выглядят враждебные контексты среди основных подполей машинного обучения: под наблюдением, без присмотра и подкрепления.
В контролируемых проблемах обучения
Задачи обучения с учителем — это те, которые используют ярлыки для смоделированного обучения этим ярлыкам. Эти модели поддерживаются метками, связанными с каждым образцом данных, и поэтому мы называем их контролируемыми. Существует два основных типа, один из которых является наиболее распространенным: проблемы регрессии и проблемы классификации. Если вам интересны эти темы, я написал статьи для каждого здесь и здесь.
В регрессии враждебный контекст может возникнуть, когда цель прогноза может контролироваться или манипулироваться. Например, цена акции, которая меняется, если в течение короткого периода времени покупается или продается огромное количество акций. Затем этот процесс может привести к тому, что модель, основанная на определенных характеристиках эволюции цены акций, примет решение купить или продать рассматриваемую акцию. Однако модель была бы обманута и действие, которое она реализует, также, потому что злоумышленник может предвидеть эту покупку или продажу. Это явно проблема машинного обучения, поскольку злоумышленник определил бы, как работает модель, и активировал бы ее, манипулируя фондовым рынком.
В задачах классификации такой контекст хорошо известен, например, спам или обнаружение вредоносного ПО обнаружение, где идея состоит в том, чтобы выявлять новые атаки либо по используемым словам (спам), либо по поведению программы (вредоносное ПО). В обоих случаях мы имеем дело с моделью, с которой сталкиваются злоумышленники. Обнаружение мошенничества с кредитными картами – это еще один тип состязательной классификации, когда некоторые люди создают лазейки, чтобы не быть обнаруженными обученной моделью.
В задачах обучения без присмотра
В отличие от контролируемых задач, неконтролируемые задачи не используют метку для изучения модели, а нацелены на выявление закономерностей или группировку образцов данных, чтобы ответить на вопрос или получить элементы для анализа.
Мы находим такие проблемы, как кластеризация вредоносных программ, например, чтобы определить, близка ли программа к вредоносному ПО любой категории. Аномалия Обнаружение — это еще один пример неконтролируемого враждебного контекста, идея которого состоит в том, чтобы иметь систему, которая проверяет, является ли поведение нормальным или расходящимся. Это может применяться в различных областях.
В задачах обучения с подкреплением
Подкрепление Обучение – это подполе машинного обучения, идея которого состоит в том, чтобы создать модель, которая учится на ошибках. Действительно, это игровая ситуация с наградами и ограничениями, которые позволяют модели, также называемой агентом, знать, что хорошо, а что плохо, чтобы решить проблему. Чем больше он будет вознагражден за свои действия, тем больше он будет продвигать решение и учиться. Таким образом, он будет изучать модели, которые люди не смогут идентифицировать, и в этом вся сила обучения с подкреплением.
Проблемы обучения с подкреплением являются яркими примерами состязательного контекста машинного обучения, поскольку модель сталкивается с штрафами. Чтобы быть более точным, самостоятельные проблемы с вождением являются прекрасными примерами ситуации, когда модель выступает против злоумышленника, потому что любой элемент, который модель из автомобиля увидит, но не идентифицированный, может ассоциироваться как нападение. В этих проблемах попытка предвидеть такие непредсказуемые ситуации является стратегией защиты, которую сторона защиты должна реализовать.
Давайте погрузимся в конкретику и посмотрим, как можно охарактеризовать состязательные проблемы как со стороны нападающих, так и со стороны защитников…
Стратегии нападения и защиты
Когда и как разрабатываются атакующие стратегии? Как защитники могут противостоять этим атакам?
Атакующие стратегии
В литературе разные стратегии различаются по размеру. Некоторые из них характеризуются временем, в которое они атакуют модель, другие - информацией, которую они имеют о системе, на которую они нацеливаются, и, наконец, третьи могут быть дифференцированы по намерению, стоящему за атакой, цели.
- Время отличие: момент подсчета атаки. Мы отличаем атаки на модели от атак на алгоритмы по времени последних. Действительно, атаки на модели также известны как атаки во время принятия решения, потому что именно в этот момент модель фактически делает свой прогноз: например, детектор спама, который прогнозирует, является ли электронное письмо спамом или нет, действует на момент получения письма. Эти атаки также называются атаками уклонения для большинства.
Другими словами, атаки на алгоритмы — это атаки, выполняемые на обучающих данных и, следовательно, до обучения модели. Таким образом, обучение искажается, и окончательная модель включает плохие шаблоны (состязательное повреждение обучающих данных). Атаки отравления или переключение ярлыков атаки являются примерами атак на алгоритмы. - Информация отличие : информация, которая есть у злоумышленников о модели/алгоритме, на который они нацелены. Атаки белого ящика аналогичны черным ящикам атакам атакам. Первые представляют атаки с полным знанием модели (функции, параметры…), в то время как вторые характеризуют атаки практически без информации.
- Различие целей: цель атаки может быть разной в зависимости от цели. Действительно, мы говорим о целевых и нецелевых атаках. С одной стороны, у злоумышленников есть цель изменить предсказание самой модели. Они знают новый вывод, например, если приложение классифицирует изображения автомобилей, атака изменит изображение таким образом, что оно будет классифицировано как конкретный автомобиль. Для нецелевых атак искажение изображения будет таким, что модель будет неправильной, но без преднамеренной метки.
Стратегии защиты
Приход многочисленных атак на все типы моделей вынудил к развитию защиты. Это очень сложная задача из-за широкого спектра возможностей, доступных злоумышленникам. Вот некоторые из стратегий защиты, которые мы можем найти в литературе:
- Надежность: добавление ограничений к уравнению модели, чтобы обучение стало менее сложным и в конечном итоге направлялось экспертом в данной области. Эта защита сталкивается с отравляющими атаками, которые могут изменить то, что изучает модель. Эти ограничения (регуляризация) обеспечивают эффект сглаживания, который не позволяет злоумышленнику воспользоваться сложными шаблонами.
- Обнаружение атак: как следует из названия, идея состоит в том, чтобы создать наборы тестов, которые проверяют, что классифицирует модель, и предупреждают, если это ненормально.
- Дезинформация: отправка злоумышленникам зашумленной информации, чтобы создать путаницу и помешать им понять, как на самом деле работает классификатор. Мы можем говорить о приманке, которая приводит к обнаружению злоумышленников и дает преимущество стороне защиты.
- Рандомизация: рандомизация границы решения целевого классификатора, чтобы злоумышленники должны были понимать модель каждый раз, когда процесс выполняется.
Заключение
Реальные реализации моделей машинного обучения становятся объектами множества атак, как только о модели становится известно. Это создает контекст состязательного машинного обучения, когда злоумышленники пытаются манипулировать и искажать функционирование системы машинного обучения.
Это можно найти во многих областях, таких как обнаружение аномалий, система автономного вождения, обнаружение мошенничества и т. д.
Из-за разнообразия атакующих стратегий защитная сторона должна усердно работать, чтобы сохранить свои модели на месте.
Спасибо за прочтение статьи, надеюсь, она вам понравилась и вы узнали, что такое состязательное машинное обучение! Если вам интересна наука о данных и машинное обучение, ознакомьтесь с другими моими статьями здесь.
