Как сделать дипфейк



Допустим, ваше авторитарное правительство контролирует все медиа потоки, поставляя 24/7 фейковые новости в информационное пространств. Как сделать так, чтобы ваше политическое сообщение было услышано? Ответ прост - заберите лицо у того, кто забрал ваши права. 



1. Дипфейк - это метод производства видео, который позволяет создавать фейковое видео с выбранной целью с помощью алгоритмов глубинного обучения. В таких видео лицо и голос цели симулируются так, чтобы напоминать реальную съемку.  


2. Вам нужно определить политическуб и этическую рамку вашего дипфейка:

  • Какие политичсекие цели вы преследуете?

  • Способствуете ли вы дискриминации угнетенных групп? (Дипфейк порно - лишь один из примеров как не стоит применять дипфейк технологию).  



3. Чем более реалистичный дипфейк вы хотите сделать, тем более сложным будет его производство. И для видео, и для звука вам нужен будет мощный компьютер (GPU 16+). Не у всех есть такой в распоряжении, так что можете использовать google colab.


4. Начните с производства аудио. Нужно ли, чтобы ваша цель говорила? Если нет, вы все равно можете достигнуть много, заставив политическую цель появиться в необычной ситуации, сохранив много усилий. Если вы решили работать без звука, переходите к 7 шагу. 


5. Пытайтесь работать на английском. На данный момент, работа не с английской речью достаточно сложная. 


6. Чтобы произвести аудио для дипфейка. используйте text-to-speech модели, например deepvoice. Вам нужно начать со “speaker adaptation”. Вы, разумеется, можете натренировать модель с нуля, но это будет значительно сложнее. 


7. Теперь визуальная часть. Используйте Facelab, если у вас нет мощного компьютера, то здесь вы можете найти google collab файл, чтобы тренировать сеть онлайн. 


8. Запишите видео с моделью. Вы затем измените его, потому что Facelab заменяет лицо с вашего видео лицом вашей цели. Соответственно, чтобы сделать реалистический дипфейк, съемка должны быть проведена в реалистическом сеттинге или на фоне хромакея, чтобы затем заменить его на постобработке. Вам нужно будет взять полученное изменное лицо и вставить обратно на тело цели.  


9. Для Facelab существует огромное количество обцчающих видео онлайн, но ни одно из них не объясняет этап постобработки. Постобработка может быть сделана с помощью хромакея и трэкинга лица в AfterEffects.