Может ли машинное обучение вдохновить писательский процесс?

Творческая лаборатория Google в Сиднее, Австралия, исследует возможности машинного обучения в рамках нового сотрудничества с фестивалем Emerging Writers ’Festival. По рассказу креативного технолога Руперта Парри и продюсера Kartini Ludwig.

От пера до печатного станка писатели использовали инструменты, которые помогали выбросить истории из головы и перенести их на страницу. В Google Creative Lab нас особенно интересовало, может ли машинное обучение (ML) - недавний технологический скачок - улучшить творческий процесс писателей. Для этого мы собрали разностороннюю когорту писателей, разработчиков, инженеров и профессионалов отрасли, чтобы создать три инструмента для цифрового письма на основе машинного обучения. Затем эти инструменты были переданы трем начинающим писателям, в результате чего была опубликована статья.

Зачем использовать машинное обучение?

Если мы пытаемся создать инструменты, помогающие развивать творческие способности человека, машинное обучение нам подойдет. Модели машинного обучения могут обнаруживать значимые закономерности в огромных количествах сложных данных, но, в отличие от традиционных вычислений, эти закономерности не запрограммированы жестко. Вместо этого они постепенно усваиваются путем многократного воздействия, что означает, что машина способна определять собственное понимание того, что он видит. Это понимание может быть гораздо более сложным - и иметь дело с большей неопределенностью и расплывчатостью - чем все, что мы могли бы явно запрограммировать. Эта способность машинного обучения жизненно важна для воспроизведения человеческого языка - где правила нечеткие и постоянно меняющиеся, и часто будут искажены или нарушены хорошим творческим письмом.

В отличие от более простых инструментов генерации языков, таких как цепи Маркова, которые могут обрабатывать только фиксированный словарь и назначать простые вероятности, модели машинного обучения могут усваивать более крупные шаблоны грамматики и семантики, которые они могут повторно применять в совершенно разных контекстах. Эта способность адаптироваться, даже когда они сталкиваются с новым письмом, которого они никогда раньше не видели, позволяет моделям создавать совершенно новый оригинальный текст, который по-прежнему является связным, часто делая необычные и неожиданные скачки. Это самое близкое к творчеству понятие, которое мы когда-либо создавали с помощью кода.

«Модели машинного обучения олицетворяют самое близкое к« творчеству »понятие, которое мы когда-либо создавали с помощью кода».

Чтобы начать наш процесс, мы сели с экспертом по генеративному языку Россом Гудвином, чтобы изучить технологический ландшафт этого проекта. Очень быстро стало ясно, что мы хотели бы использовать модель-преобразователь, которая быстро стала стандартом для задач машинного обучения на основе языка. В частности, архитектура трансформатора отлично запоминает долгосрочную структуру и сохраняет связность длинных выходных данных (скажем, статьи).

В итоге мы остановились на трех инструментах:

  1. Между линиями - инструмент построения сюжета, в котором машинное обучение заполняет промежутки между точками сюжета. Начните с самой первой и последней строчки сюжета, и инструмент обучен интерполировать между ними, генерируя то, что произойдет в середине. Вы можете продолжать делать это, пока не получите интересный сюжет, который можно использовать в качестве отправной точки или вдохновения для истории.
  2. Once Upon A Lifetime - генератор историй жизни персонажей. Писатели могут ввести ключевые слова, которые описывают жизнь, которую они хотят создать, возможно, биографию персонажа в рассказе, и получить полную историю жизни, основанную на этих ключевых словах.
  3. Banter Bot - чат-бот персонажа, в котором вы предоставляете некоторую информацию о том, на что похож ваш персонаж, а затем можете общаться с ним с помощью текста. По мере того, как вы говорите больше, персонаж развивается, беря за основу беседу и извлекая уроки из нее.

Для получения более подробной информации обо всех этих инструментах вы можете перейти на нашу страницу экспериментов Google.

Выбор набора данных

Как и во многих проектах машинного обучения, нашим первым шагом в создании этих инструментов является поиск набора данных. Модели машинного обучения нуждаются в большом количестве данных для обучения, чтобы делать какие-либо достойные прогнозы. Модель генеративного преобразователя будет пытаться воспроизвести структуру текста, на котором вы ее тренируете, поэтому стоит обратить особое внимание на то, что это за данные. Например, Между строк - это инструмент, основанный на сюжете, поэтому мы использовали открытый набор данных под названием WikiPlots, который извлекает из Википедии краткие описания сюжетов книг, фильмов и фильмов. Точно так же, поскольку мы хотели, чтобы Banter Bot генерировал правдоподобный диалог между людьми, мы решили обучить его на общедоступных фильмах и воспроизвести сценарии, подготовленные Корнельским университетом.

Точность в машинном обучении - это не только тип данных, на которых вы тренируетесь, но и само количество этих данных, которые у вас есть. Для больших моделей требуется большой объем обучающих данных, и в ходе экспериментов мы обнаружили, что лучше всего работает около 5–10 МБ данных для обучения нашей модели, что составляет около 800 000 слов. Хотя большее количество лучше для ваших окончательных результатов, имейте в виду, что это увеличит количество времени, которое вам понадобится для тренировки. Для Once Upon A Lifetime мы использовали 34 000 биографий из Википедии, которые дали нам более чем достаточно данных для создания работающей модели.

Подготовка данных и обучение модели

Хотя модели-трансформеры отлично подходят для создания общего текста, такого как статьи и списки, наши инструменты должны были делать вполне определенные вещи (например, генерировать на основе ключевых слов или заполнять предложения между двумя точками сюжета). Поскольку модели трансформаторов так хорошо понимают структуру текста, мы узнали, что можем форматировать наш входной текст перед обучением, чтобы получить конкретные выходные данные, которые нам нужны.

В случае Once Upon A Lifetime мы провели анализ ключевых слов каждой из примерно 34 000 жизненных историй, используя Шаблон, чтобы извлечь наиболее часто используемые слова для каждой (игнорируя стоп-слова, такие как и или потому что ). Эти общие слова дали нам набор терминов, отражающих ключевые аспекты жизни человека. Затем мы отформатировали текст так, чтобы ключевые слова стояли перед жизненными историями, разделяя их специальными символами. Итак, у нас получилось что-то вроде этого:

racecar ^ driver ^ dog ^ veterinarian ^ accident ` Jane Herman was a racecar driver and dog vet, known for having a huge driving accident during the…\n

Хотя эти символы произвольны и поначалу не имеют реального значения, модель обратит на них внимание, как только увидит их неоднократно в нашем наборе данных, и может научиться экстраполировать связь между значением ключевого слова и предметом биографии. Это означает, что после того, как мы обучили его на десятках тысяч примеров текста, подобного приведенному выше, мы можем ввести что-то вроде:

gymnast ^ sweden ^ author ^ gold ^ award `

И получите вывод вроде:

Yan Svenssen was a Swedish gymnast, who, after winning his gold medal, became an author...

Два других наших эксперимента были подобным образом обучены на сильно структурированных данных, где Между строк использовался текст с поменявшимся порядком предложений, чтобы модель научилась интерполировать между ними, а Banter Bot использовал скрипты, отформатированные как строгие. A / B-разговоры.

Мы обучились на удаленных экземплярах Google Cloud Compute с графическими процессорами NVIDIA Tesla P100 на базе облачной платформы Google Deep Learning VM Images и оставили обучение наших моделей на неделю или две (хотя уже через день увидели многообещающие результаты).

Поделиться нашими инструментами с писателями

Окончательное испытание творческого инструмента - это то, как он работает в руках создателей. Кульминацией нашей работы стал трехдневный семинар, на котором у нас была возможность пригласить наших сотрудников на Фестиваль молодых писателей. Во время семинара писатели Теган Уэбб, Халид Варсейм и Джейми Лау, а также организаторы фестиваля Иззи Робертс-Орр и Руби Пивет узнали о машинном обучении с нуля и поэкспериментировали с нашими инструментами. В течение следующих нескольких недель они опробовали их в своей писательской практике с целью создать произведение, которое будет представлено на Digital Writers Festival, онлайн-литературном фестивале в Мельбурне, посвященном технологиям и искусству письма.

Работа с писателями была поучительной - они описали инструменты как прекрасное место между намеренным фокусом писателя и неоднозначной, странной природой подсознательного вдохновения:

«Инструменты машинного обучения - это хорошая золотая середина. Есть то, к чему вы стремитесь, чтобы получить влияние и вдохновение ... и есть вы и ваше подсознание как писатель ... и я думаю, что это хорошо подходит между этим ". - Джейми Лау

Для всех авторов самым удивительным аспектом непосредственной работы с машинным обучением было то, как оно могло вывести их из головы. Для Халида взаимодействие с нашими моделями машинного обучения помогло ему избавиться от ощущения, что его мысли связаны с историей. «Их близость к случайности позволяет мне с большей готовностью выделять интересные элементы», - сказал он. Точно так же Теган наслаждалась элементом игры, который возникал из способности взаимодействовать и противодействовать тому, что было способно реагировать на все, что она вводила:

«Ты думаешь о письме как о очень серьезной вещи… наличие элемента игры в построении письма открыло мне глаза». - Теган Уэбб

Машинное обучение также оказалось эффективным в добавлении правдоподобных деталей в истории. Например, Джейми обнаружил, что особенности Once Upon A Lifetime полезны при написании реалистичных сцен. Обученная на корпусе реальных данных Википедии, модель могла легко генерировать события, места, названия книг и числа. На одной из сессий Джейми Once Upon A Lifetime придумал персонажа ныне не существующей группы под названием "The Kraggs", чей дебютный альбом "Down Where the Rivers Don't Flow" был продан "15 000 копии ». Эта творческая специфика побуждала ее обращать внимание на такие имена и числа, чтобы обогатить мир, который она строила, и сделать его реальным.

Письменные инструменты машинного обучения - это, как выразился Халид, «новые комбинации знаний». Они позволяют нам извлекать из огромного корпуса письменного слова, смешивать все социальные условности, исторические случайности, языковую структуру и значения слов, которые скрыты под ними, и возвращать их писателям неожиданными и провокационными способами.

Что дальше?

Посетите сайт фестиваля цифровых писателей, чтобы узнать больше об инструментах машинного обучения для писателей и прочитать статьи, созданные Теганом, Халидом и Джейми. Вы также можете посмотреть фильм (тоже вложен ниже).

Инструменты машинного обучения для писателей - это эксперимент, инициированный творческой лабораторией Google в Сиднее, Австралия. В команду, стоящую за проектом, входят Байрон Халлетт, Николас Челлини, Иден Пейн, Руперт Парри, Картини Людвиг, Кирстин Силлитоу, Теа Углоу, Джуд Осборн и Джонатан Ричардс. Он был создан в сотрудничестве с The Emerging Writers Festival, Sandpit, Marcio Puga и Ross Goodwin. Вы можете просмотреть всю коллекцию AI + Writing на нашем сайте Эксперименты с Google.

Вопросов? Обратная связь? Напишите нам в Твиттере или напишите по электронной почте: [email protected]