Дэвид Орбан, источник.

Преимущества ИИ могут широко распространяться благодаря новому подходу Neuromation, использующему децентрализованную аппаратную инфраструктуру блокчейна для генерации данных для приложений глубокого обучения.

Недавний взрыв конкретных и широко распространенных приложений искусственного интеллекта связан с доступностью все более мощных аппаратных платформ и сложных алгоритмов в сочетании с очень большими объемами данных. Эффективность машинного обучения, подмножества ИИ, искусственных нейронных сетей и глубокого обучения, которые сами по себе являются подмножествами машинного обучения, удивила даже экспертов.

Искусственный интеллект существует с момента появления цифровых компьютеров в 1950-х годах, а машинное обучение и нейронные сети появились в 1980-х годах. Улучшение алгоритмов и то, какую пользу они приносят, стало очевидным, когда в начале 2010-х годов стало доступно достаточно мощное оборудование для экспериментов с ними. В частности, те же специализированные подходы, графические процессоры (GPU), которые использовались для создания продвинутой графики видеоигр, можно было бы использовать для параллельной обработки, необходимой для машинного обучения, с резким ускорением результатов.

В свою очередь, разработка программного обеспечения все больше и больше полагалась на децентрализованное сотрудничество с выигрышем в пользу открытого исходного кода, а репозитории многократно используемых компонентов становились настолько важными, что те команды и корпорации, которые не хотели участвовать, чувствовали, что они все менее и менее конкурентоспособны. Сегодня естественно считать само собой разумеющимся, что наиболее продвинутый подход будет опубликован в научных статьях вместе с алгоритмами для его реализации, примером кода для его выполнения.

Это оставляет роль данных крайне важной, особенно в коммерческих приложениях, которые не могут полагаться на академические репозитории. Крупные корпорации имеют решающее преимущество, так как они могут выделять ресурсы на сбор и обработку данных из физического мира, которые они используют в качестве своего конкурентного преимущества. Часто, как в случае с Google и Facebook, данные не только собираются непосредственно корпорациями, но также добровольно предоставляются пользователями их приложений.

Нейроматизация демократизирует доступ к передовым подходам искусственного интеллекта для разработчиков, позволяя использовать широко развернутую сеть GPU для майнинга блокчейнов для создания синтетических данных для обучения нейронных сетей.

Защита блокчейна зависит от вычислений, которые решают криптографические проблемы, но сами по себе они не дают полезных результатов, кроме важного и конкретного эффекта, заключающегося в том, что транзакции блокчейна не подделываются. Новизна подхода Neuromation заключается в достижении этого при выполнении полезных вычислений. Что немаловажно, сгенерированные синтетические данные по определению должным образом помечены, поскольку генерирующий компьютер заранее знает, какое изображение он рисует. Очень важно обучать сети на основе должным образом размеченных наборов данных, а это не всегда достижимо, даже если доступен сбор реальных данных.

В видео ниже вы можете посмотреть беседу с Эндрю Рабиновичем, советником по нейроматологии и директором по глубокому обучению в Magic Leap, в котором рассказывается о том, почему глубокое обучение важно и как эти новые подходы могут распространять знания и выгоды от него, демократизируя доступ к искусственному интеллекту.

Вот стенограмма разговора:

- [Дэвид] Приветствую всех и добро пожаловать к Эндрю Рабиновичу, директору по глубокому обучению в Magic Leap, советнику Neuromation. Привет, Андрей, как дела?

- [Андрей] Доброе утро тебе.

- Мы будем говорить о захватывающих темах, о которых говорят многие, но не многие люди практикуются на том же уровне, что и вы, об искусственном интеллекте, глубоком обучении и более экзотических темах, пытающихся сделать их понятными. Итак, когда вы начали заниматься искусственным интеллектом?

- Итак, история началась почти 20 лет назад, когда я был еще студентом Калифорнийского университета в Сан-Диего, когда я начал создавать компьютеризированные микроскопы, или, как мы тогда называли их, систометры, где мы пытались обнаружить рак в образцах тканей. Затем мы использовали базовые методы обработки изображений, но очень быстро я понял, что этого недостаточно, и гораздо больше исследований, а в то время требовались машинное обучение и компьютерное зрение, и именно тогда я начал учебу в аспирантуре по компьютерному зрению и машинному зрению. Обучение. Итак, с 2002 года я изучаю теоретическое и прикладное машинное обучение и компьютерное зрение, а сейчас мы называем это классическим видением и машинным обучением, и я занимался этим до 2012 года, когда произошла своего рода революция в области глубокого обучения. В то время я работал в Google, занимаясь всеми видами деятельности, связанными с фотоаннотациями и компьютерным зрением, и там я быстро понял, что глубокое обучение способно решать проблемы, о которых классическое зрение никогда не могло мечтать. Затем почти в мгновение ока я быстро полностью переключился на глубокое обучение и начал тратить все свое время на теорию глубоких вычислений, а также на их приложения к компьютерному зрению.

- В искусственном интеллекте с 80-х годов или даже раньше существовало два подхода. Подход «сверху вниз» с использованием экспертных систем, классификации на основе правил, всевозможных способов, которым мы пытались научить компьютеры, здравого смысла и того, как принимать решения на основе нашего понимания того, как мы рассуждаем. С другой стороны, существовали подходы «снизу вверх», возглавляемые искусственными нейронными сетями, которые пытались абстрагировать правила рассуждения, не делая их явными, но как если бы компьютеры были в состоянии обнаружить эти правила сами. И подход, основанный на нейронных сетях, в то время, казалось, имел очень жесткие ограничения и был своего рода проигрышной частью баланса ИИ и подхода ИИ. Что заставило его снова выйти на первый план? Вы сказали, что в 2012 году что-то вдруг случилось?

- И действительно, сбывающееся пророчество Закона Мура позволило за последние 50 лет компьютерам становиться все больше и больше, больше, больше, больше и мощнее. 50 лет экспоненциального роста действительно имеют большое значение. Когда стали доступны большие объемы данных и очень мощные вычислительные платформы, стали доступны нейронные сети и началось глубокое обучение. Был большой набор данных, все еще есть большой набор данных для объективного тестирования производительности нейронных сетей в задачах зрения, и, если я не ошибаюсь, тест, выполняемый людьми, превзошел бы машинное распознавание, но машинное распознавание изображений начало улучшаться. и лучше, и сегодня машины так же или лучше, чем люди, в распознавании задач на этом наборе данных, верно?

- Это правильно. Итак, один из моих коллег из Стэнфорда, который сейчас работает в Google, профессор Фей-Фей Ли приложил огромные усилия, чтобы собрать воедино этот набор данных, о котором вы говорите, который называется ImageNet, это коллекция из примерно 10 миллионов изображений, состоящих из примерно 1000 категорий, задача которых состоит в том, чтобы идентифицировать выдающуюся категорию, представленную на данном изображении. Современное состояние самых эффективных глубоких нейронных сетей дает точность около 97% для пятерки лучших, в то время как люди могут достичь точности только 95%. При этом самые глубокие и самые большие глубокие нейронные сети, которые лучше всего работают с этими наборами данных, имеют примерно такое же количество нейронов, как у маленького крошечного грызуна, такого как мышь или крыса. В чем хороши эти подходы - в распознавании закономерностей. Итак, в отличие от людей, они никогда не забывают и никогда не отвлекаются, и никогда не бывает двусмысленности между двумя типами мостов или двумя типами самолетов, что люди не очень хорошо умеют рассуждать. Однако я хочу сразу указать, что эти задачи очень слабо связаны с каким-либо общим интеллектом, принятием решений или рассуждением. Эти задачи в первую очередь сосредоточены на сопоставлении с образцом и обнаружении наблюдаемого явления. Так что эти вещи действительно очень хорошо запоминаются с некоторым обобщением невидимых наблюдений, в то время как люди на самом деле вынуждены делать выводы из очень ограниченного обучения. Вот почему этот конкретный набор данных требует наличия сотен и тысяч обучающих примеров для этих сетей, чтобы они действительно хорошо делали то, что они делают, но как только вы увеличите количество представлений до десятков примеров, человеческая производительность только пострадает. немного, в то время как деградация и точность для машин будут очень значительными.

- Когда вы говорите о самых глубоких системах глубокого обучения, вы имеете в виду уровни анализа и абстракции, верно? И о скольких уровнях мы говорим, когда говорим о самом глубоком глубоком обучении сегодня?

- Итак, наиболее широко используемые самые глубокие сети - это то, что называется остаточной сетью, или ResNet, которая исходит из исследований Microsoft и имеет около 151 уровня, каждый из которых также часто состоит из подкомпонентов. Насколько мне известно, люди в академических кругах раздвинули границы этих сетей, чтобы довести их до 1000 слоев, но вопрос не только в количестве этих слоев, но и в ширине слоев и их соответствующей глубине, на самом деле, есть некоторые теоретические результаты, которые предполагают, что только с двухслойной нейронной сетью без указания ее ширины и глубины каждого конкретного слоя можно аппроксимировать любую математическую функцию, что предполагает, что с двухслойной нейронной сетью, в основном, сеть, состоящая из двух линейные слои с двумя последующими нелинейными активациями могли аппроксимировать любую математическую функцию, следовательно, могли решить любую задачу машинного обучения. Конечно, чем меньше у вас слоев, тем сложнее научиться, поэтому люди создают эти огромные вещи, потому что обучение становится намного проще.

- Теперь сложно собирать наборы данных из реального мира, и чем больше дифференцированных областей, в которых вы хотите, чтобы нейронные сети работали, тем сложнее становится задача сбора отдельных хорошо спроектированных наборов данных для этих различных задач, и это Не случайно крупные корпорации, такие как Facebook, Microsoft и Google, очень заняты тем, что делают это с автомобилями, которые фотографируют улицы мира, или анализируют фотографии, которые загружаются миллиардами в социальных сетях и скоро. Однако это действительно ограничивающий фактор для стартапов с командами увлеченных и творческих людей, которые могут воспользоваться преимуществами подходов к глубокому обучению.

- Итак, вы начали упоминать, какой прорыв в подходе Neuromation вы советуете. Подход, который вместо того, чтобы полагаться на набор данных, собранных из физического мира, создает набор данных, и эти наборы данных называются синтетическими данными. И одна из причин, по которой синтетические данные так интересны, заключается именно в том, что они открывают возможность командам, не работающим в Google, Microsoft или Facebook, воспользоваться преимуществами подходов глубокого обучения и нейронных сетей и применить методы искусственного интеллекта для проблемы, которыми они увлечены. Итак, вы говорили о некоторых дополнительных функциях синтетических данных и о последствиях такого подхода?

- Итак, как вы правильно указываете, поскольку получение реальных данных с надлежащими аннотациями очень дорого, и поскольку методы неконтролируемого обучения еще недостаточно эффективны, я думаю, что идти по пути создания синтетических данных в обучающих моделях на этих наборах данных, я считаю, практический путь вперед. По-прежнему существует множество проблем, связанных с тем, как создавать эти данные, напоминают ли эти данные реальную среду, но я думаю, что эти задачи или эти проблемы не сложнее, чем проблемы неконтролируемого обучения. Так что я считаю, что подход к ИИ с этой точки зрения - отличное занятие.

- И если конкретно описать аппаратное обеспечение, синтетические изображения искусственных трехмерных миров, которые можно сфотографировать с помощью виртуальных камер, создаются с помощью видеокарт, которые практически идентичны или используются как используются для игр, и это то, что производится NVIDIA или другими производителями компьютерных микросхем и карт, потому что та же вычислительная мощность, необходимая для рендеринга все более красивых изображений и детализированных изображений искусственных миров в компьютерных играх, - это то же самое оборудование которые можно использовать для синтеза изображений для обучения нейронных сетей.

- Совершенно верно. Раньше считалось, что большинство фотореалистичных графических рендеров основывались на процессорах, а не на графических процессорах, таких как рендеринг Maya и V-Ray, но недавно, может быть, два года назад Unreal Engine начал работать над рендерингом с использованием графических процессоров, и это становится довольно распространенным явлением. Практикуйтесь в этом сообществе глубокого обучения, чтобы в основном использовать эти графические процессоры и видеокарты от NVIDIA, а также использовать Unreal Engine для рендеринга этих синтетических примеров, что можно эффективно делать в реальном времени. Традиционный рендеринг на процессорах, хотя и обладал более высокой визуальной точностью, занимал намного, намного больше времени, до 15-20 минут на изображение, чтобы получить хороший рендеринг, с такой медленной скоростью, можно было бы возразить, что невозможно создать миллионы примеров для обучения глубоких нейронных сетей. , но с подходом Unreal, работающим на графическом процессоре практически в реальном времени, это решение внезапно становится привлекательным, потому что вы можете создать огромный объем данных за разумный промежуток времени, чтобы вы могли обучать эти большие глубокие сети. И снова это слияние технологий для производства синтетических данных с множеством действительно быстрых и мощных графических карт.

- И я не знаю, случайно ли это совпадение или красивая синхронность, что одна из причин, или дополнительная причина, что эти карты все более и более широко используются не только на персональных компьютерах геймеров, но и в серверных стойках. специализированных, но все еще широко распространенных распродаж, это связано с тем, что та же карта, тот же тип оборудования, тот же тип вычислений на базе графического процессора также используется в майнинге Ethereum или майнинге определенных типов криптовалют, а также в майнинге криптовалюты с настоящего момента мы переходим из области ИИ в область блокчейна, стоит повторить очень кратко, это просто метафора. Никто не добывает редкие металлы. На самом деле я думаю, что это несколько неудачная метафора. Лично я предпочитаю использовать метафору плетения, когда в результате совместных усилий сложной криптографической работы возникает шаблон, но в любом случае, независимо от того, используем ли мы те или иные, эти операции необходимы для обеспечения устойчивости сети доверия, в которой операции блокчейна реализовать и сделать невозможным фальсификацию транзакций и фальсификацию операций в этой сети, чтобы сделать ее вычислительно невыполнимой из-за усилий, затрачиваемых на криптографические операции для всех участников. Итак, Neuromation фактически объединила их. Neuromtification заявляет, что существует проблема демократизации доступа к мощным подходам нейронных сетей, глубокого обучения и искусственного интеллекта, с одной стороны, синтетические данные, созданные с помощью графических процессоров, а с другой стороны, они наблюдают, что это широко доступная аппаратная сеть графических процессоров, развернутая для блокчейна. операции, и они объединили их. Так что опишите немного, как это работает и почему это так эффективно?

- Так что весьма примечательно, что все, что связано с тем, что, на мой взгляд, будет следующим прорывом в искусственном интеллекте, в основном, обучением глубоких нейронных сетей, а также созданием данных для создания данных для обучения этих нейронных сетей, может быть выполнено на идентичном оборудовании. Итак, в прошлом у вас должен был быть какой-то сумасшедший суперкомпьютер, который бы занимался вашим моделированием, затем вам потребовались бы формы рендеринга графики, которые были сделаны из совершенно другого оборудования для создания данных для моделирования, а затем вы должны были собрать их вместе. В настоящее время очень интересно, что на одном графическом процессоре вы можете как создавать данные для обучения, так и тренироваться. Так что, чтобы добавить к совпадению, произошел взрывной рост добычи криптовалюты, который также использует эти графические процессоры. После того, как это повальное увлечение криптовалютой как бы утихло, люди начинают понимать, что самый большой недостаток во всей этой конструкции заключается в том, что в процессе майнинга люди должны выполнять значительный объем вычислений, однако в конце вычислительного процесса они получают вознаграждение в виде Биткойны или другие криптовалюты, но на самом деле результат вычислений полностью отбрасывается и выбрасывается. Это похоже на то, как будто вы идете учить французский, а в конце вы получаете кусок шоколада, но все, что вы выучили, полностью забывается. Так что это кажется пустой тратой. Таким образом, идея Neuromation заключается в том, что вместо майнинга просто ради получения ключа для получения большего количества биткойнов или других криптовалют, вы майните в силу решения реальной задачи ИИ, будь то обучение глубокой нейронной сети или создание синтетических данных для тренируя эти нейронные сети, и в конце концов вы все равно получаете свою криптовалюту, но результат ваших вычислений на самом деле является чем-то полезным, что можно применить дальше по цепочке для некоторого практического применения.

- Это немного похоже на то, как те волнистые головоломки, которые часто отображаются при создании новой учетной записи на онлайн-платформе, не только пытаются отпугнуть мошенников и спамеров, но и когда вы смотрите на детали, и, например, эта система называется reCAPTCHA, оказывается, процесс проверки того, что вы человек, потому что вы можете распознавать отображаемые слова, вы фактически оцифровываете книги или решаете другие типы задач по маркировке. Таким образом, практически так же, как здесь используются люди, которым нужно решить задачу, но задача, а не бесполезная, это полезная задача, аналогично Neuromation использует вычислительную мощность планетарного компьютера блокчейна для решения задач, которые необходимы для криптографической сети. чтобы быть в безопасности, но вместо того, чтобы применять эту силу для решения бесполезных задач, она применяет эту силу для накопления знаний, для создания полезных вычислений.

- Совершенно верно. Я думаю об этой похожей парадигме, помню, в 90-х годах был проект SETI @ home, где люди пытались искать инопланетную активность, и у них не было единственного компьютера для выполнения всей работы, поэтому они пытались распространить это происходило на всех ПК, доступных в мире, но тогда вы просто получали бы право хвастаться, говоря, что помогли найти инопланетян, и это само по себе было наградой. Теперь, с появлением блокчейна и криптовалюты, стало очень естественным распространять вычисления среди всех владельцев и пользователей графических процессоров, чтобы иметь возможность выполнять эти методы, и поэтому я думаю, что это понятие демократизации ИИ является хорошим описанием нейроматологии, потому что на высший уровень это действительно так. Это дает людям возможность: а, собирать обучающие данные посредством их синтеза, и б, обучать глубокие нейронные сети на очень необходимых процессорах графических процессоров. Этих вещей в мире предостаточно, как вы сказали для майнеров, геймеров и широкой публики в целом, но стандартный режим работы таков: вы - Google, Facebook или Amazon, вы идете и строите огромный склад с этими графическими процессорами, и это Кстати, почему вы добиваетесь успеха, вы часто слышите о конференциях, инженеры из Google представляют какие-то научные результаты, и они говорят, что мы потратили достаточно энергии на эти центры обработки данных с графическим процессором, чтобы обеспечить питание 5000 домов на одну семью в течение трех месяцев. С одной стороны, они улучшают этот набор данных ImageNet примерно на 3%, но на самом деле это a - чрезвычайно несправедливое преимущество для мелких игроков, и b - это смехотворно безответственный способ тратить энергию, которую можно было бы сохранить в противном случае, но через это демократизированный подход к обучению децентрализованной модели и генерации синтетических данных. Я надеюсь, что эти ограничения скоро исчезнут, и все остальные смогут достичь тех же результатов, что и большие парни.

- Итак, Андрей, большое спасибо за этот разговор. Несомненно, ваша работа в области искусственного интеллекта и глубокого обучения очень вдохновляет, и мы оба очень рады и с нетерпением ждем, когда Neuromation создаст и предоставит свою платформу, чтобы доступ к передовым инструментам ИИ мог быть демократизирован, потому что все мы любят и используют Google, Facebook и инструменты, которые предоставляют крупные корпорации, но даже они понимают, что таланты есть везде, творчество повсюду, и нам действительно нужно дать этим группам по всему миру возможность выражать свои идеи, и это то, что я лично с нетерпением жду скорой встречи. Большое спасибо за сегодняшнюю беседу.

- Спасибо, я очень рад видеть, как Neuromation делает эти шаги вперед, и я очень увлечен тем, чтобы сделать эти инструменты доступными для широких масс, потому что я думаю, только благодаря широкому участию со всего мира мы сможем сделать следующие шаги в области ИИ. и интеллект в целом.

(Предупреждение: я советник Neuromation.)

Демократизация доступа к искусственному интеллекту

Дэвид Орбан, источник.