Цифровые копии актеров снимутся в новых сериях старых сериалов
Опубликовано: 21.02.2019
Их первый «бессмертный» персонаж: Джоуи из сериала «Друзья».
Команда исследователей из Лидского университета работает над полуавтоматизированными алгоритмами передачи цифровой копии актеров тв-шоу. Эти алгоритмы заглушают звук смеха в сериале, распознает лица каждого персонажа, анализирует их голоса и язык тела, а также движение губ во время разговора. Машинное обучение также изучает диалоги, чтобы понять, каким образом цифровой герой строит свою речь.
Для обучения алгоритма лучше всего подходят сериалы, потому что они представляют собой огромное количество видеоматериала. Алгоритм изучил более 200 серий сериала «Друзья», то есть около 4400 часов видео и тысячи страниц сценария. Но несмотря на все изученные данные, результат работы алгоритма вышел далеко не идеальный. В этом сгенерированном компьютером ролике заметно, что рот Джоуи искажен, а слова как будто вырваны из контекста:
Сейчас команда исследователей работает над улучшением работы алгоритма цифровой копии актеров, чтобы он мог создавать ролики, неотличимые по качеству от оригинала.
Такая технология распознавания персонажей, анализа сценария и генерирования движения губ не является чем-то новым. В начале этого года появился проект Стэнфордского университета Face2Face , который мог идеально имитировать движение губ человека на видео. С помощью своей технологии ученые смогли в буквальном смысле заставить Дональда Трампа, Джорджа Буша, Владимира Путина и других политиков произносить различные слова. В отличие от нее, проект Лидского университета создан не для того, чтобы вкладывать в уста героя чужие слова, а чтобы создать цифровую копию его личности.
Исследователи утверждают, что в будущем копия актера Джоуи из «Друзей» может заменить виртуальных помощников Siri и Alexa. Кроме того, возможно мы увидим новые процедурно-генерируемые эпизоды наших любимых сериалов. Правда, в итоге все будет зависеть от правообладателей. Да и технология еще находится на стадии разработки — так что новые серии появятся еще не скоро. Но если вы хотите вновь увидеть любимых персонажей, то стоит подождать.
Источник