OmniHuman-1 от ByteDance генерирует наиболее реалистичные дипфейки на сегодняшний день

Китайская компания ByteDance, создатель TikTok, представила примеры работы новой системы искусственного интеллекта OmniHuman-1, которая создает предельно реалистичные дипфейк-видео. Некоторые огрехи все еще сохраняются, особенно при моделировании движений, но что касается жестов и мимики, современные дипфейки выглядят очень убедительными. Возможно, это наиболее реалистичный контент такого рода в мире на сегодня.

Для создания дипфейков OmniHuman-1 требуется минимум данных – одно фото хорошего качества и одна аудиозапись с голосом. Система умеет редактировать существующие видеоматериалы под разные запросы — например, менять пропорции тела. Это позволяет создавать видео несуществующих событий с произвольными персонами, включая давно умерших людей, как показано в примерах.

В основе работы OmniHuman-1 лежит методика «omni-conditions», комплексное изучение контента в составе изображения, аудио и текстовых подсказок. Заявлено, что для обучения нейросети хватило всего 18 700 часов видеоданных, а потери информации и ошибки в процессе оказались «существенно меньше», чем при работе старых дипфейк-моделей. Компания пока не обнародовала планы по использованию OmniHuman-1, поэтому не исключено, что это лишь промежуточная версия на пути к еще более совершенным генераторам дипфейков.

Подобные новости не могут не пугать, так как использование дипфейков в корыстных и откровенно мошеннических целях также набирает обороты. Их неоднократно применяли во время предвыборной гонки в США, а рядовые злоумышленники активно выманивают деньги у населения от имени знаменитостей. К сожалению, призывы экспертов по ИИ ввести регулирование в отрасли и законодательно ограничить создание и применение дипфейков пока не получили масштабного одобрения властей.