Проектирование точных и эффективных CNN для мобильных устройств является сложной задачей из-за большого пространства для проектирования и дорогостоящих вычислительных методов. Хотя многие мобильные CNN доступны разработчикам для обучения и развертывания на мобильных устройствах, существующая архитектура CNN может не обеспечить наилучших результатов для некоторых задач на мобильных устройствах.

В прошлом году Google представил подход к автоматизированному поиску мобильной нейронной архитектуры (MNAS) и предложил MnasNet, основанный на обучении с подкреплением, для автоматического проектирования мобильных моделей. Затем Facebook предложил FBNet, структуру поиска дифференцируемой нейронной архитектуры (DNAS) для оптимизации архитектуры CNN на основе градиентного метода. И FBNet, и MnasNet представили автоматизированные решения, чтобы изменить способ разработки моделей глубокого обучения для мобильных устройств. AutoML также становится все более важным в разработке моделей глубокого обучения.

Synced пригласил Ми Чжан, доцента, специализирующегося на пересечении компьютерных систем и машинного интеллекта в Университете штата Мичиган, где он руководит лабораторией систем машинного интеллекта (SysML), поделиться своими мыслями о Mobile AutoML.

Как бы вы описали FBNet Facebook и MnasNet Google?

Facebook FBNet и Google MnasNet - это современные подходы к поиску нейронной архитектуры для автоматического определения эффективных моделей CNN с поддержкой аппаратного обеспечения, которые обеспечивают оптимальный баланс между точностью вывода и задержкой на мобильных устройствах.

Почему это исследование важно?

В недавнем прошлом глубокое обучение (DL) стало незаменимым компонентом искусственного интеллекта (AI), связанного с его способностью достигать точности, близкой к человеческой, в различных важных задачах AI, таких как распознавание лиц, классификация изображений и обнаружение объектов. Однако модели DL требуют больших вычислительных ресурсов. Разработка моделей DL для платформ с ограниченными ресурсами, таких как мобильные устройства, никогда не бывает тривиальной задачей. Это связано с тем, что мобильные модели DL должны достигать ожидаемой высокой точности при сохранении ресурсоэффективности.

Ключом к разработке современных мобильных моделей DL является определение сетевой архитектуры, которая обеспечивает оптимальный компромисс между точностью и эффективностью использования ресурсов. Однако, учитывая значительно большое количество возможных архитектур в пространстве дизайна, вручную исследовать такие большие пространства дизайна, чтобы сбалансировать компромисс на основе эвристики человека, чрезвычайно сложно, требует много времени и часто приводит к неоптимальной архитектуре. Более того, поскольку разные типы мобильных устройств имеют разные характеристики оборудования, одна и та же сетевая архитектура может демонстрировать разную эффективность использования ресурсов на разных мобильных устройствах. Как следствие, каждому мобильному устройству может потребоваться разная сетевая архитектура для достижения оптимального компромисса между точностью и эффективностью. К сожалению, учитывая огромную стоимость, вручную определить оптимальную сетевую архитектуру для каждого отдельного мобильного устройства практически невозможно.

Чтобы устранить недостатки ручного подхода, Google и Facebook недавно опубликовали свои фреймворки автоматизированного машинного обучения (AutoML) MnasNet и FBNet, которые могут автоматически определять сетевую архитектуру, которая обеспечивает оптимальный баланс между точностью и эффективностью использования ресурсов для мобильных устройств. И MnasNet, и FBNet разработаны на основе современной технологии поиска нейронной архитектуры (NAS). В отличие от предыдущих стратегий NAS, которые сосредоточены исключительно на поиске сетевой архитектуры, которая обеспечивает наивысшую точность, MnasNet и FBNet явно включают информацию об эффективности использования ресурсов в цель стратегии NAS, чтобы процесс автоматического поиска архитектуры мог определить сетевую архитектуру, которая оптимально уравновешивает торговлю. разница между точностью и эффективностью использования ресурсов. Что еще более важно, и MnasNet, и FBNet учитывают конкретные аппаратные характеристики мобильных устройств и, таким образом, могут настраивать оптимальную сетевую архитектуру для каждого мобильного устройства. В результате автоматически сгенерированные мобильные модели DL неизменно превосходят современные модели, созданные вручную, с точки зрения точности и эффективности использования ресурсов при выполнении различных задач искусственного интеллекта.

Какое влияние эти подходы к поиску нейронной архитектуры могут оказать на исследовательское сообщество?

MnasNet и FBNet представляют автоматизированный подход к разработке точных и эффективных моделей DL для мобильных устройств. Обычно для проектирования таких высококачественных мобильных моделей DL требуется, чтобы разработчики обладали глубокими знаниями в области машинного обучения, чтобы вручную настраивать параметры модели и улучшать сетевую архитектуру. Современные подходы AutoML, представленные в MnasNet и FBNet, позволяют разработчикам с ограниченным опытом машинного обучения разрабатывать высококачественные модели, соответствующие их потребностям, в автоматическом режиме.

MnasNet и FBNet также представляют масштабируемый подход к настройке мобильных моделей DL для различных мобильных устройств. Учитывая стоимость ручного подхода, разработчики могут позволить себе разработать только одну модель для всех типов мобильных устройств. Платформенные подходы, представленные в MnasNet и FBNet, обеспечивают эффективный способ, позволяющий разработчикам создавать настраиваемые мобильные модели DL, которые обеспечивают оптимальную производительность во время выполнения на целевых мобильных устройствах.

Можете ли вы предсказать возможные будущие события, связанные с исследованием?

AutoML совершает революцию в дизайне моделей DL. Учитывая возрастающую важность AutoML в рабочем процессе разработки модели DL, он становится новым полем битвы гигантских компаний, занимающихся ИИ, таких как Google и Facebook. Поскольку многие из их сервисов на базе искусственного интеллекта предоставляются через мобильные устройства с ограниченными ресурсами, ключом к победе в этой битве является мобильная среда AutoML, которая может автоматически разрабатывать оптимизированные мобильные модели DL, адаптированные для каждого отдельного мобильного устройства.

Документы FBNet: аппаратно-эффективный дизайн ConvNet с помощью дифференцированного поиска нейронной архитектуры и MnasNet: платформенно-зависимый поиск нейронной архитектуры для мобильных устройств находятся на arXiv.

О Проф. Ми Чжан

Ми Чжан - доцент кафедры электротехники и вычислительной техники, информатики и инженерии в Университете штата Мичиган, где он руководит лабораторией систем машинного интеллекта (SysML). Профессор Чжан получил докторскую степень в Университете Южной Калифорнии и степень бакалавра в Пекинском университете. Его исследования лежат на стыке компьютерных систем и машинного интеллекта, охватывая такие области, как мобильные / периферийные вычисления, системы глубокого обучения, распределенные системы, Интернет вещей и мобильное здравоохранение. О его работе писали ведущие национальные и международные СМИ, такие как MIT Technology Review, WIRED, TechCrunch, New Scientist, TIME, CNN, ABC, NPR, The Washington Post, Smithsonian Magazine и The Wall Street Journal.

Партнерская программа Synced Insight

Партнерская программа Synced Insight - это программа, доступная только по приглашениям, которая объединяет влиятельные организации, компании, академических экспертов и лидеров отрасли для обмена профессиональным опытом и идеями посредством собеседований, публичных выступлений и т. Д. Synced приглашает всех представителей отрасли к участию приглашаются эксперты, профессионалы, аналитики и другие лица, работающие в области технологий искусственного интеллекта и машинного обучения.

Просто Подайте заявку на участие в партнерской программе Synced Insight и расскажите нам о себе и о своем внимании к искусственному интеллекту. Мы ответим вам, как только ваша заявка будет одобрена.

Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.

Подпишитесь на нас в Twitter @Synced_Global, чтобы получать ежедневные новости об ИИ!

Мы знаем, что вы не хотите пропустить ни одной новости. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.