На протяжении десятилетий спонсоры Суперкубка выпускали одни из самых запоминающихся рекламных роликов до и во время самой важной игры сезона.

В этом году НФЛ вернула на экран легенду американского футбола. Винсент Ломбарди, выдающийся тренер и руководитель НФЛ, выступил с экрана стадиона за несколько минут до исполнения «Прекрасной Америки». Вера Ломбарди в способность человечества объединиться и преодолеть любые препятствия нашла отклик у нации, которая вступила во второй год борьбы с COVID-19.

Как создавался цифровой Винс Ломбарди?

Возвращение легенды стало возможным благодаря сотрудничеству НФЛ, креативного агентства 72andSunny из Лос-Анджелеса, студии Digital Domain VFX и компании Respeecher.

Все началось, когда НФЛ и 72andSunny решили вернуть к жизни звезду из прошлого. Этот человек должен был напомнить нам о времени, когда наше общество было единым перед лицом вызовов.

Принимая во внимание этот случай, трудно представить лучшего человека, который возглавил бы этот призыв к единству, чем Винс Ломбарди. При поддержке имения Ломбарди компания Digital Domain приступила к созданию цифрового аватара Ломбарди.

В центре его создания была система машинного обучения Charlatan от Digital Domain. Для лучшего понимания процесса создания цифрового аватара рекомендуем прочитать нашу статью о цифровых людях.

А пока просто скажем, что создать цифровую личность Винса Ломбарди было непросто. В систему машинного обучения были загружены все возможные видео тренера, который скончался в 1970 году. Обычно системе достаточно нескольких часов видеозаписи, чтобы создать правдоподобный аватар. Но не в этом случае.

Из-за плохого качества старых видеозаписей инженерам пришлось редактировать исходные видео, чтобы сделать их более понятными для алгоритмов. В процесс шло все, от документального фильма HBO до редких кадров, которые никогда не выходили на экраны.

В результате Шарлатану удалось построить анимационную модель, способную точно воспроизводить естественные движения тела тренера и особенности его мимики.

Используя дублера, чье тело было похоже по размерам и движениям на тело Ломбарди, студия всего за пару недель смогла воссоздать легендарного тренера в высоком разрешении.

Результатом работы студии стало появление Винса Ломбарди на стадионе перед финальной игрой. Его фигура размером с человека сопровождала игровое поле, уступая место реалистичному присутствию тренера.

Одной из самых запоминающихся частей выступления стала вдохновляющая речь тренера. Что касается видео, то речь Винса Ломбарди была синтезирована с использованием новейших технологий. Этот важный аспект цифрового производства был поручен команде Respeecher.

Синтезируя голос легенды

Получив первую партию аудиозаписей голоса тренера в начале января, команда Respeecher сразу поняла, что это будет непростая задача. Чтобы создать аутентичную вокальную модель Ломбарди, Respeecher в значительной степени полагается на качество исходного аудиоматериала.

Обычно для создания безупречного аудиоклона требуется всего один час оригинальных высококачественных голосовых записей. В течение трех недель модель Ломбарди училась, анализируя старые записи своего голоса, а затем смогла синтезировать звуковой контент, который звучал точно так же, как Ломбарди.

К сожалению, у Respeecher не было качественных записей для Винса, поэтому во многих местах нам пришлось пойти на компромисс. Одним из основных шагов предварительной обработки был ручной отбор самых чистых и самых эмоциональных фраз из доступного аудио.

Вкратце процесс клонирования голоса развивается следующим образом:

1. Алгоритм на основе искусственного интеллекта анализирует исходный голос и исходный голос (новый динамик, который будет управлять системой дальше).

2. Затем система изучает уникальные особенности голосов, именно те, которые выделяют голос сами по себе.

3. Затем диктор-источник может записать диалог, а наша система воспроизведет его голосом нужного человека, при этом сохранив естественные черты преобразованного диалога.

В данном случае это означает, что мы смогли создать эмоциональную речь, не искажая характер Ломбарди.

Как видите, результат был превосходным. Окончательная речь включает в себя разную степень смешения исходного и целевого голосов в разное время.

Каденция на 100% берется из исходного актера (что обычно и делает Respeecher). Попытка изменить ритм источника означает отказ от некоторого контроля над выходной речью, поэтому обычно мы пытаемся этого избежать.

Посмотрите видео о создании

Композиция As One: The Lombardi Comeback получила серебряную награду Clio Sports Awards 2021

Посмотрите полное видео о создании, которое было представлено 72andSunny Los Angeles на церемонии вручения наград Clio Sports Awards 2021 для Национальной футбольной лиги и получило серебро. Статья была отправлена ​​​​в среду: Инновации в рамках типа записи: команды, лиги, руководящие органы и ассоциации и в категории: Инновации в среде.

Сокращение затрат и сроков реализации проектов по восстановлению и омоложению

Увидев признание, которого заслужила работа Ломбарди, мы можем признать, что усилия не были напрасными. Пожалуй, это одна из самых положительных сторон нашей работы. Увидеть, как зрители радуются появлению Винса Ломбарди, вдохновившего миллионы людей.

Есть и другая, более материальная сторона работы. С нашей помощью кинорежиссеры, разработчики игр и виртуальные блогеры могут делать то, что до недавнего времени было совершенно невозможно, при этом экономя время и деньги на производстве.

Если ваша студия думает или уже работает над проектом цифрового воскрешения или омоложения, Respeecher лучше всего подходит, когда речь идет о клонировании голоса. Такие проекты, как голос Винса Ломбарди, часто могут быть довольно сложными из-за отсутствия доступных записей. В случаях, когда у нас есть около 60 минут чистой речи, клонирование голоса происходит плавно и быстро.

Приглашаем к сотрудничеству всех, кто заинтересован в расширении своих творческих идей на основе современных технологий. Свяжитесь с нами, и мы предложим индивидуальное решение именно для вашего проекта.

Эта статья изначально была опубликована на странице тематических исследований Respeecher.