Deepfake: секреты умной технологии

Когда deepfake-видео с Илоном Маском, исполняющим песню «Трава у дома», появилось в сети, оно моментально набрало миллионы просмотров на Youtube, а фейковый аккаунт Тома Круза не так давно взорвал TikTok. Так в чем же секрет технологии deepfake и как нейросеть стала самообучаемой? Разбираемся вместе с iPavlov.

iPavlov. ai

Тэги:

Нетленка

Искусственный интеллект

Фотография

Нейросети

Алгоритм

William Joel

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Схема работы генеративно-состязательных сетей (GANs)

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Генерация лиц несуществующих людей на основе комбинации двух портретов с помощью StarGAN

Генерация лиц несуществующих людей (StyleGAN2). Алгоритмы переноса стиля StyleGAN отделяют атрибуты высокого уровня (например, позы и лица) и низкого уровня (веснушки и волосы) и генерируют новое изображение без учителя. На основе этой архитектуры сайт под названием «This person does not exist» при каждом обновлении генерирует новый портрет несуществующего человека. Сеть обучили создавать не только новые лица, но и множество других объектов: например, автомобили, интерьеры.
Комбинирование нескольких лиц людей и их трансформация в одно новое лицо (StarGAN).
Ретушь фото. Например, нейросеть MichiGan может редактировать прическу на фотографиях.
Улучшение качества изображений (SRGAN - Super Resolution).
Трансформация изображений (Conditional GAN): для генерации вида здания по каркасу или одежды по скетчу, а также раскрашивания в определенные цвета.
Интерактивная генерация изображения по наброску (iGAN). GauGAN - программа от NVIDIA, которая превращает даже самые грубые наброски в фотореалистичные изображения.
Генерация новой картинки по описанию (StackGAN).
Генерация и стилизация видео по наброску (Vid2Vid).

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Original Image переводится в “скетч” (квадрат снизу под original image). Его пытается восстановить натренированная нейросеть: результат изображен на картинке reconstruction. Reconstruction также переводится в “скетч”, который мы сравниваем с первым

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Пример работы FCGAN: после наложения лица на целевое видео результат сравнивается с этим же видео до манипуляций, нейросеть тренируется, пытаясь довести преобразование до идеального совпадения этих двух видео

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

Архитектура “First order motion” для трансфера лиц

РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ

DeepFaсeLab — ведущее универсальное ПО для замены лиц, породившее бесчисленное множество видео в Интернете.
Китайский Zao — встраивает лица пользователей в известные фильмы и сериалы.
Avatarify — приложение для смартфонов от российских разработчиков из МФТИ.
Face App — использует генеративно-состязательные сети для генерации высоко реалистичных преобразований лиц на фотографиях. Сети могут сделать вас на фото улыбающимся, молодым или, наоборот, состарившимся, а могут добавить татуировки, изменить прическу или подретушировать лицо.

Материал подготовлен совместно с компанией iPavlov

iPavlov. ai