Обзор

  • Используете алгоритмы науки о данных для создания произведений искусства и музыки? Эти 8 проектов искусственного интеллекта поразят вас
  • Раскройте свой творческий и артистический потенциал в этих проектах.
  • Каждый проект в области науки о данных содержит ссылки, которые помогут вам начать работу на собственном компьютере.

Вступление

Меня всегда интересовало искусство. Есть что-то весьма приятное в том, чтобы взять чистый лист (или бумагу) и позволить своему воображению подпитывать мое творчество.

Но сейчас у вас есть время попрактиковаться в моем искусстве? Просто невозможно. Я уверен, что любой, у кого есть хобби за пределами своей рабочей среды, будет относиться к моей ситуации! Поэтому, когда я натолкнулся на несколько проектов Google об использовании науки о данных для создания произведений искусства, я был безмерно взволнован.

Я связываю науку о данных с вашими обычными отраслевыми областями - финансами, маркетингом, здравоохранением и т. Д. Но наука о данных для творческой работы, такой как искусство, письмо, музыка или даже дискуссии? Это звучит слишком футуристично, чтобы быть актуальным для специалистов по данным прямо сейчас.

Я могу заверить вас, что этот сценарий будущего наступил сейчас! Мы живем в разгар замечательной революции в области искусственного интеллекта. Так что, если вы когда-нибудь хотели стать художником или хотя бы у вас были мысли о творчестве, которое вы хотите направить, - эта статья для вас.

Я составил список некоторых из самых интересных и творческих проектов, над которыми я работал или с которыми сталкивался. Я разделил их на категории «Искусство» (что включает в себя живопись / рисунок и т. Д.), «Музыка» (композиция, инструментальная часть и т. Д.) И, наконец, несколько разных проектов, которые включают изящную машину, ведущую дискуссии на уровне человеческого интеллекта.

Это машинное обучение для творчества!

Проекты, о которых идет речь в этой статье

Проекты Data Science для искусства

  • Google's Quick, Draw!
  • Поколение замысловатого искусства
  • Семья Белами

Проекты Data Science для музыки

  • Проект Google Magenta
  • Клара
  • Проект AI DJ

Разные проекты

  • IBM Project Debater
  • Серия MIT "Создать почти все"

Проекты Data Science для искусства

Рисование новых вещей и наполнение их цветом - это то, чем большинство из нас занималось в детстве. Я никогда не мог представить себе, что машина сможет вызывать в воображении искусство так же хорошо, как все, что мы создали. Но вот и мы.

Простая нейронная сеть, обученная определенному искусству или набору изображений, теперь может генерировать потрясающие визуальные образы. Представьте себе, как Леонардо да Винчи мог бы с этим повеселиться еще в эпоху Возрождения!

Google's Quick, Draw!

Конечно, мы начинаем с Google. Кто еще попал бы в список самых креативных, когда дело доходит до искусственного интеллекта? Творческая лаборатория Google и эксперименты с Google объединились, чтобы создать этот простой инструмент, который угадывает, что вы пытаетесь нарисовать.

Дуглас Эк и Дэвид Ха придумали Sketch-RNN, рекуррентную нейронную сеть, которая генерирует рисунки общих объектов.

Модель обучается на нарисованных человеком эскизах повседневных предметов, представленных в виде последовательности. Затем последовательность передается в автокодер от последовательности к последовательности. Это, в свою очередь, обучает нейронную сеть.

Кроме того, команда также поддерживает набор данных из 50 миллионов рисунков, предоставленных игроками Quick, Draw! игра. Вот несколько ресурсов, которые помогут вам начать работу с Quick, Draw !:

Поколение замысловатого искусства

Вы когда-нибудь слышали о Zentangles? Скорее всего, вы даже не осознали этого. Сложные узоры, которые некоторые из нас рисуют в углах страниц, которые мы привыкли называть просто «каракулями», на самом деле являются зентанглами.

В последнее время они стали чрезвычайно популярными в книжках-раскрасках и поп-арте. Зентаглы, однако, связаны некоторыми визуальными правилами и повторяющимися шаблонами. Вот несколько примеров различных зентанглов:

Калаи Рамеа, исследователь из Исследовательского центра Пало-Альто (ранее Xerox PARC), полагал, что такое искусство было хорошей областью для применения алгоритмов переноса стиля (Neural Style Transfer). Созданные ею дизайны также очень уникальны и красочны.

Проект предполагает использование алгоритма переноса стиля и его применение к изображению. Изображение содержимого - это силуэт изображения, к которому мы хотели бы применить стиль Zentangle, а изображение стиля - это любой узор (черно-белый или красочный). Алгоритм в основном передает стиль изображения стиля в изображение содержимого. Краткое объяснение переноса нейронного стиля приведено ниже:

Используемые веса взяты из предварительно обученной сети под названием VGGNet, глубокой сверточной сети для распознавания объектов, разработанной и обученной Группой визуальной геометрии Оксфордского университета.

Образец работы Калаи, созданный из стеганого одеяла и изображения Дарта Вейдера:

Классно, правда? Калаи также представил это исследование на самоорганизующейся конференции по машинному обучению (SOCML) 2017. Вы можете узнать больше о создании сложных произведений искусства здесь:

Семья Белами

Генеративные состязательные сети (GAN) - это изюминка месяца в сообществе глубокого обучения в настоящее время. GAN используются для создания фотографий несуществующих людей и даже для рисования пейзажей и портретов.

Трио в составе Готье Вернье, Пьера Фотреля и Хьюго Казель-Дюпре продвинуло применение GAN на шаг вперед. В рамках Obvious, коллектива художников и исследователей машинного обучения из Парижа, они создали портреты полностью вымышленной семьи Белами из GAN.

«Семья» - это коллекция из 11 портретов разных членов семьи, венцом которых является портрет Эдмона де Белами, проданный на всемирно известном аукционном доме Christie’s за 432 500 долларов.

Классический характер портретов проистекает из того факта, что обучающие данные включали 15 000 портретов XIV – XX веков.

Лучшая часть? Belamy происходит от слова «Bel ami», что переводится как «Я, Гудфеллоу» (от И. Гудфеллоу, создателя GAN), и каждый портрет подписан формулой функции потерь модели GAN.

Проекты Data Science для музыки

На первый взгляд использование алгоритмов ИИ для создания музыки кажется естественным выбором. Музыка - это, по сути, набор нот, и ИИ процветает на таких данных. Поэтому неудивительно, что исследователи достигли прогресса в области искусственного интеллекта в музыке.

Проект Google Magenta

Ах да, снова Google. Запущенный летом 2016 года проект Google Magenta изначально был широко известен среди исследователей и энтузиастов искусственного интеллекта, но его славой среди населения стал их дудл Баха. Создан, чтобы отпраздновать J.S. 334 года со дня рождения Баха, модель гармонизирует любой вводимый пользователем вклад в стиле Баха.

Модель искусственного интеллекта называется Coconet, сверточная нейронная сеть, которая заполняет недостающие фрагменты музыки. Для обучения этой модели команда использовала 306 хоральных гармоний, написанных Бахом. Модель стирает некоторые случайные заметки из обучающего набора и регенерирует новые заметки, чтобы заполнить пробелы.

Подробнее о каракуле Баха, рассказанном командой, стоящей за ним:

Клара

Clara, созданная Кристиной МакЛиви Пейн (пианисткой и сотрудником OpenAI), представляет собой нейронную сеть, которая сочиняет фортепианную и камерную музыку. Основываясь на концепции, что музыка также является языком, Кристина разработала нейронную сеть на основе LSTM, которая предсказывает, какие ноты или аккорды мы должны сыграть дальше.

Для этого Кристина сначала получила набор данных MIDI-файлов и преобразовала их в текстовый формат. Затем текстовый файл был разделен на нотные или хордовые уровни, что аналогично языковым моделям на уровне символов и слов.

Кристина показывает нам демо Клары:

Кристин также создала модель музыкального критика, которая классифицирует музыку на созданную человеком и созданную машиной.

Проект AI DJ

Вы знали, что это будет - смесь искусственного интеллекта и ди-джеев! На самом деле это был первый образ, который я визуализировал, когда услышал об искусственном интеллекте и музыке. Хороший ди-джей может полностью изменить настроение живой публики - ИИ делает с нами все время!

Qosmo, японская компания, специализирующаяся исключительно на вычислительном творчестве, создала проект AI DJ. Это сочетание людей и алгоритмических ди-джеев, создающих новую музыку.

Проект состоит из 3-х фаз:

  • Выбор музыки. Он состоит из нейронной сети для определения жанра, инструмента и драм-машины. Эти сети объединяются для извлечения функций из музыки, которую играет диджей.
  • Согласование ударов: это реализуется с помощью обучения с подкреплением, чтобы ИИ мог управлять скоростью проигрывателя на основе ударов, которые играет ди-джей-человек.
  • Коллективное чтение: самая интересная (и самая сложная) часть этого проекта. Это использует отслеживание движения и глубокое обучение, чтобы оценить настроение живой толпы и соответствующим образом изменить музыку.

Посетите страницу проекта, подробно объясняя эти три шага.

Разные проекты

Варианты использования ИИ в творчестве выходят за рамки искусства и музыки. Хотите узнать, что еще может сделать ИИ, о чем вы, возможно, даже не догадывались? Давайте разберемся!

IBM's Project Debater

Обработка естественного языка (NLP) в наши дни всегда рядом с любым списком ИИ. И этот проект IBM - безусловно, самый сложный проект в этом списке. Каждый компонент, который вошел в создание этого дебатера по ИИ, исследует концепции машинного обучения.

Воспользуйтесь этим - компонент интеллектуального анализа аргументов обнаруживает утверждения и доказательства в корпусе и оценивает качество аргументов. Модули классификации позиций и анализа настроений занимаются классификацией мнений экспертов по поводу позиции, анализом настроений в предложениях и идиомах и даже определением позиции, основанной на утверждении.

Затем глубокие нейронные сети вместе со слабым контролем предсказывают переходы фазы, оценивают аргумент и дополнительно улучшают интеллектуальный анализ аргументов. Наконец, системы преобразования текста в речь сообщают, какие слова и фразы выделяют и создают эффективные речевые модели.

Присоединяйтесь к дебатам о субсидировании дошкольных учреждений с Project Debater, ведущим дебаты против чемпиона по дебатам Хариша Натараджана:

Серия MIT "Создать почти все"

Студенты самого популярного курса Массачусетского технологического института Нила Гершенфельда «Как сделать (почти) что угодно» преодолевают новые барьеры и применяют модели искусственного интеллекта наиболее изобретательными способами.

Они выпустили серию из 6 эпизодов, в каждом из которых участвует опытный сотрудник-человек, работающий с командой над изучением различных способов использования ИИ для развития своей области. Список включает музыку, созданную искусственным интеллектом, моду, созданную искусственным интеллектом, граффити и, безусловно, мой фаворит: пицца, созданная искусственным интеллектом.

Обязательно просматривайте сайт проекта.

Другие почетные упоминания включают созданный искусственным интеллектом короткометражный фильм «Затмение»:

Кроме того, вот действительно классное хранилище лиц несуществующих людей, созданных с помощью GAN. Невероятный!

Конечные заметки

Поистине невероятно то, что может сделать Data Science в наши дни. Это еще раз демонстрирует, что границы Data Science еще не исследованы. Это особенно полезно для переходных людей, которые хотели бы применить ИИ в своей области знаний.

Лично я также нашел эти проекты чрезвычайно полезными для изучения концепций, которые раньше считал сложными. Гораздо легче понять алгоритм, когда вы видите, что он применяется к чему-то забавному и интересному.

Можете ли вы придумать другие способы применения науки о данных (но в настоящее время нет)? Давайте обсудим в разделе комментариев ниже!

Вы также можете прочитать эту статью об Android-приложении Analytics Vidhya.

Первоначально опубликовано на https://www.analyticsvidhya.com 9 июля 2019 г.