Лента новостей

03:09
Байден считает вердикт по делу об убийстве Флойда справедливым
03:08
Харрис призвала реформировать криминальную юстицию после вердикта Шовину
03:07
Байден прокомментировал вердикт экс-полицейскому, убившему Флойда
03:06
Названы шесть привычек украинцев, выдающих их за границей
02:55
ABC News: наращивание российских войск на границе с Украиной — жест, а не подготовка к конфликту
02:53
Москва хотела бы решать вопрос исключительно в контактах с Баку и Ереваном
02:50
Соловьев ответил на предложение Зеленского встретиться с Путиным в Донбассе
02:15
Турция продаст боевые беспилотники Украине
02:10
США призвали Кремль допустить к Навальному независимых врачей
02:09
Экс-полицейский Шовин признан виновным в убийстве чернокожего американца Флойда
02:08
За пост президента Сирии впервые поборется женщина
02:07
Число погибших при крушении поезда в Египте составило 23 человека
02:06
Байден и Харрис после вердикта присяжных созвонились с братом убитого афроамериканца Флойда
02:04
Меркель защищает Украину лишь на словах
02:02
Обзор ноутбука MSI Stealth 15M A11S: для тех, кому важно поработать и поиграть в поездке
01:56
Apple показала фиолетовый iPhone 12
01:54
Слуцкий: возможная высылка странами ЕС и НАТО дипломатов РФ обернется кризисом отношений
01:52
Шойгу заявил, что Россия продолжит развивать военную инфраструктуру в Арктике
01:38
EurAsiaLive: Чего ждут Донбасс, Одесса, Днепропетровск, Харьков? — видео
01:32
Черное море стало для НАТО западней
01:29
Путин публично назовет цену за отведение войск от границ с Украиной: когда и как это случится (Телеграф, Украина):
01:23
Комитет Сената США 21 апреля рассмотрит вопрос об оружии для Киева
01:17
На Украине предложили Газпрому увеличить объем транзита газа
01:15
Адвокат семьи Флойда назвал вердикт Шовину поворотным моментом в истории
01:14
Пушков дал Зеленскому совет после его обращения к Путину
01:13
Парламент Чехии призвал потребовать от РФ компенсацию за ущерб в Врбетице
01:12
Байден поговорил с братом Флойда после вердикта экс-полицейскому
01:00
Бессменный с 1990 года лидер Чада Идрис Деби погиб в бою, на его место пришел сын Махамат
00:57
Особенности национального баллотирования
00:56
Зеленский предложил Путину встретиться в Донбассе
Все новости

Архив публикаций

«    Апрель 2021    »
ПнВтСрЧтПтСбВс
 1234
567891011
12131415161718
19202122232425
2627282930 


Новая реальность


Кадр: Сбер

Всего несколько лет назад слова вроде «нейросеть», «искусственный интеллект» или «машинное обучение» были абсолютно неведомы обычному человеку и считались чем-то из разряда фантазий футурологов. Однако уже сейчас они позволяют делать невероятные вещи, от обработки фотографий в дешевом китайском телефоне до выявления болезней с высочайшей точностью. Примеры работы нейросетей и современных технологий можно наблюдать и в фильмах, они помогают «оживить» умерших актеров или омолодить постаревших. «Лента.ру» рассказывает, как можно вернуть на экраны любимых героев.

Ручной труд

Использование компьютерной графики для воскрешения умерших актеров — далеко не новая практика. В 2013 году в рекламе шоколада Galaxy появилась Одри Хепберн, скончавшаяся 20 лет назад. Виртуальную копию актрисы поместили в декорации, напоминающие итальянское побережье Амальфи из фильма «Римские каникулы». Дети актрисы не только дали согласие на это, но и специально подчеркнули, что Одри гордилась бы этой ролью, ведь она всегда любила шоколад.

Но один из самых известных примеров был показан в фильме «Звездные войны: Скайуокер. Восход», который вышел спустя три года после смерти актрисы Кэрри Фишер.

Джей Джей Абрамс рассказывал, что не хотел искать новую актрису на роль принцессы Леи Органа, поэтому студия прибегла к изучению уже отснятых кадров, чтобы сгенерировать внешность актрисы. Причем образ актрисы практически полностью воссоздали вручную. Использовались уже готовые материалы с первых дней съемок и фрагменты из прошлых фильмов, чтобы оцифровать модель актрисы и поместить ее образ в схожие сцены. «Мы начали смотреть, что это были за кадры, начали писать сцены вокруг этих кадров, совершенно новые контексты, новые места, новые ситуации. Единственное, что я скажу: всякий раз, когда вы видите Кэрри, мы полностью создавали, освещали и сочиняли кадры вокруг оригинальных работ, которые у нас были», — объяснял Абрамс.

Подобным образом поступили во время съемок «Форсажа 7», который начали снимать в сентябре 2013 года, а спустя два месяца актер Пол Уокер погиб в автокатастрофе. Создатели фильма решили не переснимать уже отснятый материал, а использовали его для воссоздания внешности актера, чем повторно воспользовались и в восьмой части фильма.

Создатели боевика о войне во Вьетнаме «В поисках Джека» для своего фильма оцифровали культового голливудского актера Джеймса Дина, погибшего в 1955 году

По назначению

В эпоху нейросетей и машинного обучения оставлять подобные задачи на плечах людей выходит слишком дорого и трудозатратно. Одним из самых популярных примеров использования современных технологий для генерации чужой внешности стали дипфейки. Впервые о дипфейках (deepfake, от deep learning — глубокое обучение и fake — фальшивый) заговорили в 2017 году, когда на Reddit начали появляться первые ролики с людьми, которых заменили известными актерами. В общем смысле эта технология на основе генеративно-состязательных нейросетей (GAN) позволяет манипулировать аудио- и видеоконтентом, чтобы известный человек в кадре делал то, чего на самом деле никогда не делал.

«В подавляющем большинстве случаев, для создания таких видео используют архитектуру нейронной сети, которая называется автокодировщиком. Она состоит из двух частей: первая учится кодировать исходное изображение, а вторая — раскодировать его так, чтобы оригинальное лицо заменилось на то, которое и хотелось наложить. При этом положение глаз, носа и рта должны остаться такими же, какими и были у человека на исходной картинке. Иногда эту архитектуру усиливают с помощью генеративно-состязательной нейронной сети (GAN). Механизм такой: генеративная часть алгоритма учится на реальных фотографиях определенного человека и создает изображение, буквально «состязаясь» с дискриминативной частью алгоритма, пока последняя не начнет путать сгенерированную «фейковую картинку с оригиналом. Таким образом, кодировщик и декодировщик отвечают за перенос лица, а дискриминатор из GAN — за улучшение результата», — рассказали «Ленте.ру» директор по исследованиям и разработкам в SBER AI Андрей Черток.

Технологию разработал студент Стэнфордского университета Ян Гудфеллоу еще в 2014 году, после чего устроился в Google, а потом в компанию Илона Маска OpenAI. А в 2017-м на Reddit появился пользователь с ником Deepfake и начал загружать порноролики, где главные роли «исполняли» известные актеры. Это породило целую волну контента для взрослых с участием известных актрис вроде Галь Гадот или Дэйзи Ридли. Вскоре после этого на Reddit запретили публикацию подобных материалов, а в США постепенно на законодательном уровне вводят запрет на публикацию политических или порно-дипфейков. Впрочем, в 2019 году специалисты сообщали, что 96 процентов дипфейков так или иначе связаны с роликами для взрослых.

96
Процентов
Такая доля порно-роликов среди всех дипфейков в интернете

Несмотря на это технология показала, что достоверно заменить актера в кадре или «воскресить» уже умершего человека можно в домашних условиях. Это породило немало и шутливых роликов, где в кадре вместо всех актеров мог быть Джим Керри, и достаточно любопытных, где, например, фанаты «примеряли» внешность актера на образ любимого героя вселенной Marvel. Политиков этот тренд тоже коснулся — дипфейки активно использовались в ходе агитации на выборах президента США.

Одним из первых примеров использования технологии в серьезных работах стала социальная реклама об опасности малярии с участием Дэвида Бекхэма. С помощью нейросетей создатели перевели видео на девять разных языков, сохранив голос футболиста и артикуляцию.

Любимые герои

Однако до сих пор никто не пытался только лишь с помощью нейросетей вернуть на экраны героя прошлого. Для многих дипфейки до сих пор остаются способом создания мемов и смешных роликов, но у технологии гораздо больший потенциал. Полный комплекс приемов по воссозданию внешности, манер и голоса актера показал Сбер в рекламе с героем фильма «Иван Васильевич меняет профессию» Жоржем Милославским. Это первый пример такого комплексного подхода на большом производстве с использованием исходных данных из старого фильма. По сюжету Милославский оказывается в 2020 году и узнает, что теперь Сбер — не просто банк, а технологический гигант. Одной из самых сложных задач было воссоздать голос актера Леонида Куравлева.

В сравнении с использованием классических приемов компьютерной графики, нейросети оказались быстрее и дешевле. По словам специалистов из Группы компаний ЦРТ («Центр речевых технологий»), индустрия премиальных голосов для клиентов Enterprise-уровня обычно требует десятков часов студийной записи диктора. В данном случае пришлось собирать материалы из уже имеющихся фильмов, а в ходе выбора оптимальных фрагментов набралось всего семь минут речи. Кроме того, это была нестандартная задача с коротким сроком реализации.

«Сначала мы собирали данные, чтобы обучить TTS (text-to-speech — технология синтеза речи, то есть перевода написанного текста в звучащую речь прим. "Ленты.ру"). Основным источником речевого материала послужили фрагменты аудиозаписей из кинофильмов с участием Леонида Куравлева. Хотя мы старались извлечь из фильмов как можно более чистые записи, часть из них все же сопровождалась посторонними звуками (шум города, звуки природы и т.п.) или музыкой, мы постарались это исправить. Любые артефакты непременно просачиваются в нейронную модель голоса диктора, особенно когда речь идет о столь малой обучающей выборке. Удалось полностью отделить музыку от голоса без существенной потери качества примерно в половине собранных примеров».

Вместе с тем в компании добавили, что синтезированный голос Леонида Куравлева неотличим от реального только для слуха дилетанта. Это все-таки синтез. Система детектирования спуфинг-атак (попыток взлома) способна выявить специфические характеристики звука, указывающие на то, что голос не является живым. Внимание к таким возможным атакам во многом и отличает сегодня высококлассных разработчиков. Антиспуфингу — защите от хакеров — часто посвящают специальные научные конкурсы, в том числе мировые, где не раз побеждала команда ЦРТ. В целом в ЦРТ считают, что разработчики должны не только создавать новые технологии и продукты на их основе, но и постоянно искать новые средства защиты, не останавливаясь на достигнутом.



Опубликовано: Мировое обозрение     Источник

Подпишись:




Вам может быть интересно:


Напишите ваш комментарий к статье:

Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

Новости партнеров

Наверх