Стремясь упростить путь для исследователей и инженеров, стремящихся внедрить дифференциальную конфиденциальность (DP) в машинное обучение (ML) и помочь ускорить исследования DP в полевых условиях, Facebook AI на этой неделе выпустила новую высокоскоростную библиотеку под названием Opacus.
Сообщество машинного обучения в последние годы наблюдает растущий интерес к дифференциальной конфиденциальности, которая представляет собой математически строгую структуру, часто используемую в аналитике для количественной оценки анонимизации конфиденциальных данных. Цель Opacus — сохранить конфиденциальность каждой обучающей выборки, ограничивая при этом любое негативное влияние на точность конечной модели.
Opacus предназначен для обучения моделей PyTorch с помощью DP таким образом, который является более масштабируемым, чем существующие современные методы, объясняют исследователи Facebook в своем блоге. Opacus достигает этого, модифицируя стандартный оптимизатор PyTorch для измерения и обеспечения выполнения DP во время обучения.
Наборы данных машинного обучения часто создаются краудсорсингом и могут содержать конфиденциальную информацию. Поэтому для их использования требуются методы, отвечающие требованиям приложений, а также обеспечивающие принципиальные и строгие гарантии конфиденциальности.
Opacus предлагает скорость и безопасность — он может вычислять пакетные градиенты для каждой выборки и обрабатывает на высокой скорости на графическом процессоре весь набор параметров. Он также гибкий, позволяя инженерам и исследователям быстро создавать прототипы своих идей, смешивая и сопоставляя свой код с кодом PyTorch и чистым кодом Python.
Исследователи говорят, что Opacus определяет облегченный API благодаря новой абстракции PrivacyEngine, которая может отслеживать бюджеты конфиденциальности пользователей в любой момент, а также работать с градиентами модели. После обучения полученный артефакт представляет собой стандартную модель PyTorch без дополнительных шагов или препятствий для развертывания частных моделей.
Библиотека также включает в себя предварительно обученные и точно настроенные модели, учебные пособия для крупномасштабных моделей и инфраструктуру, специально разработанную для экспериментов по исследованию конфиденциальности.
Команда считает, что по мере того, как приложения и исследования машинного обучения продолжают ускоряться, важно, чтобы исследователи машинного обучения имели доступ к простым инструментам, которые могут обеспечить математически строгие гарантии конфиденциальности, не замедляя процесс обучения.
Разрабатывая инструменты PyTorch, такие как Opacus, исследователи Facebook надеются демократизировать ресурсы, сохраняющие конфиденциальность, и преодолеть разрыв между сообществом безопасности и общими инженерами машинного обучения с помощью более быстрой и гибкой платформы, использующей PyTorch.
Библиотека Opacus находится в открытом доступе на GitHub.
Корреспондент: Юань Юань | Редактор: Майкл Саразен
Синхронизированный отчет | Обзор китайских решений искусственного интеллекта в ответ на пандемию COVID-19 — 87 тематических исследований от более чем 700 поставщиков ИИ
В этом отчете предлагается взглянуть на то, как Китай использует технологии искусственного интеллекта в борьбе с COVID-19. Он также доступен на Amazon Kindle. Вместе с этим отчетом мы также представили базу данных, охватывающую дополнительные 1428 решений искусственного интеллекта для 12 сценариев пандемии.
Нажмите здесь, чтобы найти больше отчетов от нас.
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на нашу популярную рассылку Synced Global AI Weekly», чтобы получать еженедельные обновления AI.
