дипфейк с клавой какой
Как делают дипфейки
Вы не могли не видеть роликов, где известным киноперсонажам подставляют лица других актеров. Иногда подобные замены выглядят удивительно достоверно. Сегодня рассказываю про дипфейки.
Таким образом дипфейки используют технологии искусственного интеллекта для синтеза изображений. На сегодняшний день существуют разные архитектуры алгоритмов, которые переносят лица с видео на видео.
Уши, лоб и волосы остаются в целевом видео родными, поскольку алгоритмы пересаживают исключительно область от бровей до подбородка и от уха до уха. В связи с этим нужно находить похожих друг на друга людей или использовать грим, как в случае с коммерческими проектами. На конечный результат цвет кожи и волос, а также комплекция и форма лица. Тот же Хавьер Бардем качественнее поженился со Шваренеггером чем с Ди Каприо или Уиллемом Дэфо, поскольку у них в жизни формы черепа похожи. Также нужно учитывать положение головы и крупность в донорском и целевом видео. Несовпадения принесут плачевные результаты. Оба человека должны побывать в максимально совпадающих условиях и ситуациях. На постпродакшен этапе при помощи композа и масок, конечно, можно докрутить и отшлифовать, но сама по себе технология еще требует серьезной доработки, чтобы выдерживать кинематографическое качество и впоследствии стать мощным инструментом, который бы не накладывал столько ограничений, а наоборот давал гибкость. В менее требовательном, но на более оборотистом рынке рекламы нейросети уже востребованы. А уж сколько однокнопочных сервисов для мобилок появилось. Но важно помнить, что качественный результат всегда требует времени. Тот же проект с Сальвадором Дали потребовал 1000 часов машинного обучения, 6000 фотографий и 146 видео с похожим внешне актером.
Рекламу для Сбера тоже делали ни один месяц. Наконец, для документального фильма «Добро пожаловать в Чечню» также использовали замену лиц, чтобы скрыть личности респондентов. Но там это и не скрывается. Фейк виден невооруженным глазом. Тем не менее это большой и серьезный труд по работе с дублерами и нейросетями, чтобы передать эмоции пострадавших представителей меньшинств.
Можете самостоятельно натренировать нейросеть. Ниже ссылки:
Искусственный интеллект
381 пост 4.9K подписчиков
Правила сообщества
Здесь вы можете свободно создавать посты по теме Искусственного интеллекта. Добро пожаловать 🙂
— Делиться вопросами, мыслями, гипотезами, юмором на эту тему.
— Делиться статьями, понятными большинству аудитории Пикабу.
— Делиться опытом создания моделей машинного обучения.
— Рассказывать, как работает та или иная фиговина в анализе данных.
— Век жить, век учиться.
I) Невостребованный контент
I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.
I.2) Создавать контент на «олбанском языке» / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.
II) Нетематический контент
II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.
II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, «Земля плоская» или «Любое действительное число представимо в виде дроби двух целых».
II.3) Создавать контент, входящий в противоречие с правилами Пикабу.
III) Непотребный контент
Умиляет личность, рекламирующая сбер. Вот, если я не ошибаюсь.Очень символично. Сейчас ролик с тв убрали.
Термин дипфейк происходит от слов «deep learning»,
@moderator в машинное обучение
Хорошо, хоть не дикпики!
Чего сказать то хотел? Всё, что ты тут изложил, уже миллион раз обсосано и высрано. Даже здесь, на пикабе.
Показываю рыбов из своих ночных кошмаров. Красивое?
Знаю, что опоздал с показом рыб, который проходил на пикабу, тем не менее хочу поделится последней работой.
Концепт существа. Гигантский кожаный кит, пожираемый неизвестной сущностью.
Работу делал на конкурс, лепил и красил в зибраше, рендерил в кейшоте.
Буду благодарен за поддержку:
Артстейшн, куда выкладываю в основном красивое: https://www.artstation.com/artwork/aYKa8q
Rob Tuytel
Голова дракона
Доброго времени суток. Сделал небольшой скульпт. Что так, что не так? Критика приветствуется.
P.S. Зибрашерам. Сначала посмотрел видео с ютуба, где автор скульптит что-то подобное. Вдохновило. Он даже сказал, что за кисти для этого использовал и где их скачать. Перехожу по ссылке, а там такая красота, чешуйки в один клик делать можно, однако просят звонкий шекель. 40$. Ага. За некоммерческую 7$, но что такое 7$ для студента? Можно есть неделю, а то и две, если постараться. Посмотрел гайд, сделал кисть с тремя чешуйками разных типов. Выкладываю вам абсолютно бесплатно, вдруг кому пригодится, пользуйтесь на здоровье.
Дом на болоте Low Poly
Школьники из Нижнего Новгорода стали лучшими в 3D-моделировании и программировании
Юные нижегородцы лучшие в 3D-моделировании и программировании в России: команда FullStack из Нижнего Новгорода стала абсолютным лидером отборочного этапа IV всероссийского хакатона👨💻
Лестница в доме Бака. Санкт-Петербург
Эстетика питерских парадных.
Ссылки на мои аккаунты:
Бабушкина кухня
Ностальгия по старым советским интерьерам и бабушкиным ватрушкам с молоком
Ссылки на аккаунты:
Идеальный дипфейк Моргана Фримена
Датчане из коллектива DiepNep сделали прекрасное видео с Морганом Фрименом. Вот только это совсем не он, а дипфейк. Имитация с помощью современных нейросетей. Даже голос идеально сделан. Ироничный текст, где он спрашивает, что такое реальность. Сделал перевод!
Я хотел бы поприветствовать вас в эпоху синтетической реальности.
Что ты видишь теперь?
Что нас ждет лет через 5, когда такие штуки научатся делать не группы программистов-энтузиастов, а приложения на телефоне?
p.s. нашел у них на фейсбук, что голос таки сделала не нейросеть, а некий Boet Schouwink
вот цитата «Freeman’s voice imitation is done by the incredibly talented Boet Schouwink.»
p.p.s. знаю что боян, но в других постах текста не было, только сам видос
Сломанный автомобиль в лесу Low Poly
Создано в Blender 3D
Британский стартап выпустил программу, позволяющую изменять мимику актеров в кино. Так, чтобы она совпадала с дубляжом
Британская компания Flawless выпустила программу TrueSync, которая с помощью машинного обучения синхронизирует дубляж с мимикой актеров. Это значит, что движения губ и лицевых мышц людей на экране будут совпадать с тем, что говорят актеры озвучания. Нейросети сами проанализируют мимику актеров и подстроят под дубляж, заменив их лица на дипфейк. Выглядеть это будет так, будто, к примеру, Роберт Де Ниро изначально во время съемок произносил свои реплики на немецком, а не на английском, как показано в проморолике TrueSync.
Просто взгляните, как это выглядит:
В Китае с помощью сгенерированных изображений аферисты набрали невозвратных кредитов на десятки миллионов долларов
В Китае новый вид мошенничества, который только набирает обороты, но уже позволил похитить из банков десятки миллионов долларов. Виной всему цифровой прогресс.
Популярнейшая технология распознавания лиц, которую глубоко внедрили во все сферы жизни, дала пищу аферистам. Вопрос, который их волновал «а что если для получения кредита использовать несуществующее случайно сгенерированное лицо», ответ был найден быстро.
Старая как мир история: некто обманул государство на десятки миллионов долларов. Но дело не в том, что обманул, а в том, как обманул. Аферисты обогатились, взломав легендарную китайскую систему распознавания лиц. Власти делятся информацией неохотно: Китай стал первым государством, пострадавшим от монстра, которого сам породил.
Системы распознавания лиц здесь повсюду. Чтобы войти в банк, офис или просто во двор, часто не нужны документы, достаточно лица. Система его считает даже в маске, дверь откроется автоматически.
Если есть система, то всегда найдутся желающие ее взломать. Китайский интернет наводнен роликами, где граждане пытаются открыть замки, подставив под око камеры фотографии вместо лиц. Но замки — это детский лепет. Есть более серьезные вещи: технология Face ID в Китае вовсю используется для подтверждения банковских операций и оплате налогов. Этим, уже по-взрослому, и воспользовались аферисты.
– Они создали большое количество автоматически сгенерированных нейронной сетью несуществующих фотографий лиц несуществующих людей. И с помощью технологии дипфейк они смогли их оживить и создать для них несуществующие счета. На протяжении нескольких лет они смогли получить кредиты и в общей сложности около ста миллионов долларов они смогли украсть. Это первое злоупотребление такого рода технологиями, – комментирует Олег Кивокурцев, директор компании по производству сервисных роботов.
Что такое технология дипфейк? Говоря простым языком, это возможность с помощью нехитрых компьютерных манипуляций создать одно лицо из другого. Или заставить, скажем, известных китайских мужчин петь женским голосом. Или даже научить петь кота.
Подобными приложениями активно балуются пользователи соцсетей. Но то забавы ради. Другое дело, когда инструмент попадает в руки людей с дурными намерениями. В США женщина применила технологию дипфейк, чтобы скомпрометировать конкуренток своей дочери, девушек из группы поддержки одной из спортивных команд. Она рассылала интимные видео якобы с их участием. Все было настолько реалистично, что подделку распознала только полиция. И таких случаев все больше.
Китайцев возможность манипуляций с фото и видео беспокоит давно, уже больше года за такое предусмотрена уголовная ответственность, а на местном телевидении один за другим выходят репортажи, как уберечься от мошенников. Имидж еще ладно, но как сохранить деньги?
– С точки зрения противодействия самый, на мой взгляд, эффективный метод – это так называемая двухэтапная идентификация, когда помимо того, что есть изображение, вы подтверждаете действия либо цифровым кодом, либо смс ответным, ну то есть, чтобы ваши операции, связанные с деньгами, предполагала минимум два действия, потому что если вы оставите только одно действие, ну, например, там не знаю, скан с отпечатками пальцев или изображение, то мошенники, используя вот эту методику, могут ее обойти, – говорит Дмитрий Смиркин, IT-специалист.
Все происходящее, конечно, сильный аргумент в пользу того, чтобы держать платежные пароли только в голове, а важные данные записывать от руки на бумажку и класть в сейф. Но прогресс остановить невозможно. Цифровые технологии будут с нами, хотим мы того или нет. Тем важнее наша собственная осмотрительность.
🎥 Делаем DeepFake на коленке: пошаговое практическое руководство
Сейчас термин стал общеупотребительным для обозначения алгоритмов и технологий картографирования лиц и изменения видео. Под DeepFake мы понимаем:
Хотя манипуляции с видео далеко не новое явление, за последние годы произошло два больших изменения:
Для создания DeepFake чаще всего используется две технологии, которые стоит рассмотреть немного подробнее.
При использовании GAN совместно обучаются две конкурирующие нейронные сети: «Дискриминатор» и «Генератор». Затем модель генератора создает искусственные изображения с использованием случайного шума, а дискриминатор обучается различать настоящие образцы и подделки. Если вы выровняете GAN с достаточно большим набором обучающих данных (человеческих лиц), он научится генерировать довольно реалистичные подделки.
Принцип работы GAN
Автоэнкодеры
Другой популярный подход – использование автоэнкодеров.
Если не вдаваться в подробности, основная идея метода заключается в том, что если у вас есть пара обучающихся отдельно (но с общим кодировщиком) автокодировщиков, два автокодера будут изучать лица как цели, так и источника. Декодер для цели затем можно комбинировать с общим кодировщиком. Если в кодер поступает исходное видео, но он подключен к декодеру для целевого, это генерирует синтетический выходной сигнал с подобием источников и характеристиками цели.
Мобильные приложения
Теперь мы последовательно разберем создание DeepFake на примере трех коммерческих мобильных приложений и сравним результаты.
Reface
На веб-сайте Reface говорится, что программа реализует «прорывную технологию AI/ML с использованием Generative Adversarial Networks», но никакой конкретики не приводится.
Приложение позволяет подставлять лица в одно из множества видео или выбрать собственное видео из интернета. Можно также обрабатывать и сохранять несколько лиц – это дает возможность повторно использовать их без импорта. Поскольку Reface распознает все лица в видео, можно установить отдельное лицо для каждого персонажа.
Большинство функций приложения доступно бесплатно, но чтобы избавиться от водяных знаков, придется оплатить подписку Pro.
Impressions
Приложение накладывает лица известных людей на записанные пользователем видео. Выбрав знаменитость, загрузите ролик, а программа создаст дипфейк-версию.
Impressions также включает каталог аудиозаписей из популярных фильмов и телесериалов, которые можно синхронизировать по губам. Приложение загружает и обрабатывает видео на своих серверах, поэтому для работы требуется подключение к Интернету.
Пока Impressions доступен только на iPhone или iPad, но компания-разработчик утверждает, что скоро появится версия и для Android. Приложение бесплатно при условии, что на клипах остается водяной знак.
Jiggy
Jiggy позволяет воспользоваться технологией создания дипфейков для развлечения. Приложение предлагает десятки танцевальных видео, в которые можно втиснуть свое или чужое лицо, загрузив фотографию. Jiggy также сканирует верхнюю часть тела, чтобы наложить ее на танцующего персонажа.
Как и Reface, Jiggy оживляет выражение и движения лица.
Приложения вроде Reface, Impressions и Jiggy позволяют легко попробовать модную технологию, не прибегая к программированию и вообще не вникая в технологические нюансы. Мы на этом не остановимся и далее рассмотрим более полное руководство по созданию DeepFake на коленке.
Делаем DeepFake при помощи модели движения первого порядка за 5 минут
Методология и подход
Модель отслеживает движения головы, разговоры, слежение за глазами и даже движения тела.
Пошаговое руководство
Чтобы сделать собственный DeepFake, мы используем бесплатный облачный сервис Google Colab . Он основан на Jupyter Notebook и предоставляет всё необходимое для машинного обучения прямо в браузере. Вам понадобится только аккаунт Google.
Шаг 1. Откройте в браузере файл ipynb и скопируйте его на свой Google Диск. Это заранее подготовленный алгоритм машинного обучения.
Шаг 2. Запустите первый процесс, чтобы скачать ресурсы и настроить параметры модели.
Шаг 4. При помощи второго скрипта можно протестировать алгоритм, используя заранее заготовленную коллекцию видео и фото. Выберите исходное изображение, запустите run и дождитесь результатов.
Шаг 5. Чтобы сделать собственное видео, вам потребуется перетащить в папку проекта изображение и исходное видео для анимации.
Шаг 6. После этого скопируйте путь к ним, пропишите его в соответствующих полях третьего сценария и нажмите запуск.
Вуаля, Сталлоне уже требует от вас одежду, ботинки и мотоцикл:
Подводные камни
Представленный способ не универсален и может иногда выдавать неожиданные результаты. Учитывая личный опыт, приведем несколько рекомендаций:
DeepFaceLab
Для ознакомления с технологией создания DeepFakes или для развлечения вполне можно попробовать Reface или Impressions. Этих мобильных приложений хватит, чтобы подшутить над друзьями или сделать забавное видео. Если вы хотите чуть глубже разобраться в технологии, но без дорогого железа и многих часов рендера, стоит попробовать модель движения первого порядка для анимации изображений в Google Colab: алгоритм позволит поэкспериментировать с разными исходниками и параметрами, но также не требователен к ресурсам вашего компьютера. Для более серьезных манипуляций присмотритесь к возможностям DeepFaceLab. Удачи!
DeepFake-туториал: создаем собственный дипфейк в DeepFaceLab
DeepFake – технология синтеза изображения, основанная на искусственном интеллекте и используемая для замены элементов изображения на желаемые образы. Если вы не слышали о дипфейках, посмотрите приведенный ниже видеоролик. В нём актёр Джим Мескимен читает стихотворение «Пожалейте бедного пародиста» в двадцати лицах знаменитостей.
Название технологии – объединение терминов «глубокое обучение» (англ. Deep Learning) и «подделка» (англ. Fake). В большинстве случаев в основе метода лежат генеративно-состязательные нейросети (GAN). Одна часть алгоритма учится на фотографиях объекта и создает изображение, буквально «состязаясь» со второй частью алгоритма, пока та не начнет путать копию с оригиналом.
В следующем видео показаны процессы, происходящие за кулисами обучения нейросети. Как пишет автор проекта Sham00K, на итоговое видео потрачено более 250 часов работы, использовались 1200 часов съемочных материалов и 300 тыс. изображений. Объем сгенерированных данных составил приблизительно 1 Тб.
Области применения технологии
Уже имеются целые YouTube- и Reddit-каналы c дипфейк-роликами. Технология DeepFake может применяться для самых разных целей.
Кинопроизводство. Производство фильмов сегодня – крайне затратный процесс с арендой камер, студий и оплатой работы актёров. Развитие технологии DeepFake позволит сократить затраты на съемочный процесс, монтаж и спецэффекты.
Локализация рекламы. Достаточно записать один рекламный ролик со знаменитостью, после чего записанное лицо можно переносить в видео с местными актерами, произносящими рекламные слоганы на родном языке. То есть можно добиться эффекта, как будто знаменитость говорит на языке страны дистрибуции продукта.
Виртуальная и дополненная реальности. Технология переноса мимики может применяться для создания цифровых двойников в играх, виртуальной и дополненной реальностях. Источниками лица могут также служить знаменитости или участники игры. Это повышает эмоциональное вовлечение.
Очевидно, что технология должна использоваться с особой осторожностью. Злоумышленниками могут преследоваться цели компрометирования личности или создания фейковых новостей. В начале октября 2019 г. члены Комитета по разведке Сената США призвали крупные технологические компании разработать план для борьбы с дипфейками. Ранее, в сентябре этого года, Google создала специальный датасет дипфейков.
Отметим, что данная публикация подготовлена исключительно в исследовательских целях.
Создадим собственный DeepFake
Для синтеза дипфейка мы будем использовать популярную библиотеку DeepFaceLab. Библиотека стремительно развивается, сейчас доступно несколько релизов:
Ниже описан базовый процесс создания дипфейка на примере Windows.
Важно понимать, что на качество результата влияет множество свойств исходных видеофайлов (разрешение и длительность, разнообразность мимики персонажей, освещение и т. д.). За любыми подробностями и деталями настроек перенаправляем к оригинальному репозиторию.
Системные требования для DeepFaceLab
Минимальные системные требования для работы с инструментом:
Рекомендуемые системные требования:
Алгоритм работы с DeepFaceLab
Предварительно договоримся о терминологии:
Архив сборки нужно распаковать как можно ближе к корню системного диска. После распаковки в каталоге DeepFaceLab вы найдете множество bat-файлов.
Примерная структура каталога workspace
Папка _internal используется алгоритмом.
data_dst – это папка, в которой будут храниться кадры, извлеченные из файла data_dst.mp4 – целевого видео, в котором мы меняем местами лица. Папка также будет содержать две подпапки, которые создаются после запуска «извлечения» лиц:
Как вы могли заметить, bat-файлы в корне распакованного каталога имеют в начале имени номер. Каждый номер соответствует определенному шагу выполнения алгоритма. Некоторые пункты опциональны. Пройдемся по этой последовательности.
1. Очистка рабочего каталога
2. Извлечение кадров из видеофайла источника (data_src.mp4)
Пропускаем пункт, нажав Enter, чтобы извлечь все кадры.
3. Извлечение кадров сцены для переноса лица (опционально)
4. Составление выборки лиц источника
Пример вывода программы при запуске на видеокарте NVIDIA GeForce 940MX:
4.1. Удаляем большие группы некорректных кадров
На этом этапе необходимо удалить крупные группы некорректных кадров, чтобы далее не тратить на них вычислительный ресурс. К некорректным кадрам относятся все, что не содержат четко различимого лица. Лицо также не должно быть закрыто предметом, волосами и пр. Не тратьте время на мелкие группы. Мы удалим их на следующем шаге.
4.2. Сортировка и удаление прочих некорректных кадров
Файл 4.2) data_src sort.bat служит для для сортировки и выявления групп некорректных кадров. Не закрывая обозреватель, последовательно запускайте bat-файл с нужной опцией и удаляйте группы некорректных кадров (обычно находятся в конце). Доступные опции:
4.2) data_src util faceset enhance.bat использует специальный алгоритм машинного обучения для масштабирования/«улучшения» качества представления лиц в наборе данных. Полезно, если кадры немного размыты и вы хотите сделать их более резкими.
4.2) data_src util faceset pack.bat и 4.2) data_src util faceset unpack.bat служат для упаковки (распаковки) лиц из папки aligned в один файл. Используется для подготовки настраиваемого набора данных для предварительного обучения, упрощает совместное использование в виде одного файла и значительно сокращает время загрузки набора данных (секунды вместо минут).
4.2.other) data_src util recover original filename возвращает имена изображений лиц к исходному порядку/именам файлов. Запускать не обязательно – обучение и слияние будут выполняться независимо от имен файлов источника.
5. Составление выборки лиц принимающей сцены (dst)
5) data_dst faceset extract.bat выполняет автоматическое извлечение с использованием алгоритма S3FD.
5) data_dst faceset extract + manual fix.bat позволяет вручную указать контуры лица на кадрах, где лицо не было определено. При этом в конце извлечения файлов открыто окно ручного исправления контуров. Элементы управления описаны вверху окна (вызываются клавишей H ).
5.1. Извлечение лиц вручную (manual extractor)
После запуска 5) data_dst faceset extract MANUAL.bat откроется окно, в котором вы можете вручную найти лица, которые хотите извлечь или переизвлечь:
5.2. Очистка данных сцены
Перейдите в папку data_dst/align и используйте следующую, откройте Powershell и с помощью следующей команды удалите суффиксы _0 из имен файлов с размеченными лицами:
Дождитесь завершение процесса – по окончании снова отобразится адрес папки.
Если вы хотите еще больше улучшить качество разметки, используйте альтернативную модель разметки XSeg, работа с которой подробно описана в п. 5.3 официального руководства.
6. Обучение
Обучение нейросети – самая времязатратная часть, которая может длиться часы и сутки. Для тренировки необходимо выбрать одну из моделей. Выбор и качество результата определяются объемом памяти видеокарты. В текущей версии программы доступно две модели:
При первом запуске программа попросит указать параметры, применяемые при последующих запусках (при нажатии Enter используются значения по умолчанию). Большинство параметров понятно интуитивно, прочие – описаны в руководстве.
Обратите внимание, что некоторые параметры не могут быть изменены после начала обучения, например:
Рассмотрим также некоторые другие параметры модели.
Autobackup every N hour : автоматическое резервное копирование вашей модели каждые N часов. По умолчанию отключено.
Target iteration : модель прекратит обучение после достижения заданного количества итераций, например, если вы хотите обучать модель только 100 тыс. итераций, вы должны ввести значение 100000. Если оставить значение равным 0, модель будет работать до тех пор, пока вы не остановите ее вручную.
Flip faces randomly : полезный вариант в случаях, когда в исходном наборе данных нет всех необходимых углов поворота лица.
Batch_size : параметр влияет на количество лиц, сравниваемых друг с другом на каждой итерации. Наименьшее значение — 2, но вы можете увеличить значение, если с этим справится ваш графический процессор. Чем выше разрешение, размеры и больше особенностей у моделей, тем больше потребуется VRAM, поэтому может потребоваться меньший размер пакета. Рекомендуется не использовать значение ниже 4. Для начальной стадии можно установить более низкое значение, чтобы ускорить начальное обучение, а затем повысить его. Оптимальные значения – от 6 до 12.
Прочие настройки подробно описаны в оригинальном руководстве.
При корректных условиях параллельно с консолью откроется окно Training preview, в котором будет отображаться процесс обучения и кривая ошибки. Снижение кривой отражает прогресс тренировки. Кнопка p (английская раскладка) обновляет предпросмотр.
Процесс обучения можно прерывать, нажимая Enter в окне Training preview, и запускать в любое время, модель будет продолжать обучаться с той же точки. Чем дольше длится тренировка, тем лучший результат мы получим.
7. Наложение лиц
В новой версии DeepFaceLab доступно множество режимов наложения с различными масками и дополнительными настройками. В качестве параметров для первой пробы можно использовать параметры по умолчанию (по нажатию Enter) и варьировать их, если вас не устроит результат соединения сцены и нового лица.
8. Склейка кадров в видео
Если результат вас не удовлетворил, попробуйте разные опции наложения, либо продолжите тренировку для повышения четкости, используйте другую модель или другие видео с исходным лицом. О неописанных особенностях работы с библиотекой, прочих советах и хитростях читайте в оригинальном руководстве и комментариях к нему.