Глубокие подделки, упрощенные искусственным интеллектом: взгляд на FaceFusion.

В последние годы в мире цифровых медиа появился термин «глубокие подделки», который кажется пришедшим из научной фантастики: они уже вышли далеко за рамки анимации, как, например, мультфильм 2004 года JibJab. Технологии воссоздания аудио- и визуальных образов реальных людей настолько реалистичны, что становится все труднее отличить фиктивный контент от реальной последовательности.

Как и при использовании любого инструмента, ключевую роль играет намерение. Глубокие подделки часто упоминаются в качестве угрозы для правительств, компаний и знаменитостей, но изменение облика видео не обязательно должно быть вредоносным. Это может быть искусством. Это может быть развлечением.

Это даже не обязательно должно быть просто. На рынке существует несколько инструментов, но большинство из них слишком сложны или дают посредственные результаты.

Именно здесь на помощь приходит FaceFusion. Этот инструмент позволяет легко заменять и воссоздавать лица в фильмах и отличается доступностью, скоростью и возможностью создания реалистичных «глубоких подделок». Цифровым художникам больше не нужно практиковаться в сопоставлении, совмещении и замене лиц в каждом видеоролике — функция автоматического распознавания FaceFusion мгновенно заменяет лица, проста и эффективна в использовании.

Не верите нам? Посмотрите видео, которое мы создали всего за несколько минут и несколько кликов:

Люди, играющие лицом другого персонажа, были обычным явлением в истории на протяжении веков. «Глубокие подделки» создавались еще на заре кинематографа и фотографии: от французского фильма 1960 года Les yeux sans visage до фильма 1997 года Face/Off и серии фильмов «Миссия невыполнима» — техника манипулирования изображениями и движущимися картинками развивалась вместе с технологиями.

Как правило, это был кропотливый ручной процесс, и первые глубокие подделки часто имели некачественные черты лица или явные несоответствия в освещении и текстурах. Однако с появлением нейронных сетей и машинного обучения эта техника вступила в новую эру.

Термин «глубокая подделка», представляющий собой сочетание слов «глубокое обучение» и «подделка», отражает суть этой техники. Используя алгоритмы глубокого обучения, компьютеры накладывают изображения и видео на существующий материал.

С развитием технологий глубокие подделки стали более реалистичными и простыми в создании. Новые инструменты демократизировали творческий процесс и перенесли эту возможность из голливудских лабораторий спецэффектов в дома и офисы

Обзор

FaceFusion

Разработанный специально для глубокого притворного видео, FaceFusion позволяет обычному пользователю компьютера достичь результатов, которые раньше были доступны только пользователям с большими вычислительными мощностями и опытом.

Основные возможности FaceFusion включают.

• для улучшения общего качества видео.
  Простой в использовании интерфейс для начинающих и опытных пользователей.

Точность FaceFusion во многом обусловлена библиотекой «insightface», которая автоматически распознает и точно заменяет сложные черты лица (кто знаком с deepfakes, тот знает, что технология insightface лежит в основе Roop — фантастического инструмента, используемого для замены лиц на изображениях).

Одним из первых ограничений insightface было стандартное разрешение 128×128. Однако опытные пользователи смогли обойти это ограничение и объединить insightface с другими алгоритмами улучшения лиц, такими как GFPGan, Gpen и Codeformer. Создатели FaceFusion также интегрировали библиотеку ‘opensfw’, которая предотвращает генерацию откровенного контента. В систему также интегрирована библиотека ‘opensfw’, предотвращающая создание откровенно сексуального контента.

Все эти элементы в совокупности позволяют пользователям уточнять результаты и создавать четкие, резкие лица. Это не только повышает качество, но и значительно сокращает время обработки

Мастер установки

Требования к аппаратному обеспечению:

Требуется графический процессор с оперативной памятью не менее 4 ГБ. Однако для достижения оптимальной производительности за разумный промежуток времени рекомендуется использовать 8 ГБ.

Пошаговая инструкция по установке:

Пошаговая инструкция по установке.
Наиболее сложной частью использования FaceFusion является установка. В настоящее время графический интерфейс пользователя отсутствует, поэтому придется использовать различные команды терминала. Ниже приводится краткое изложение официального руководства.

Windows:

Перед установкой FaceFusion установите Python 3.10, Git, Microsoft Visual C++ 2015 Redistributable и Microsoft Visual Studio 2022 Build Tools. Выполните следующие действия:

Последовательно выполните следующие команды:
winget install -e —id Python.Python.3.10
python -m ensurepip
winget install -e —id Git.
winget install -e —id Gyan.FFmpeg
закрыть /r
winget install -e —id Microsoft.VCRedist.2015+.x64
winget install -e —id Microsoft.VisualStudio.2022.BuildTools —override «—wait —add Microsoft.VisualStudio.Workload.NativeDesktop — includeRecommended». includeRecommended».
(Более подробные инструкции можно найти в сопроводительной документации).

Пользователям карт Nvidia следует также установить последнюю версию набора инструментов CUDA с этого URL и библиотеку cuDNN с этого URL.

Для установки FaceFusion перейдите в каталог установки FaceFusion и выполните в терминале следующую команду
git clone https://github.com/facefusion/facefusion
1. После установки необходимых компонентов необходимо создать среду Python, в которой FaceFusion сможет безопасно работать. Для этого необходимо выполнить следующие шаги:
   Создайте папку, в которую будет установлен FaceFusion.
2. Откройте терминал в этом месте.
   Последовательно выполните следующие команды:

python -m venv
Активируйте venv.
Далее установите библиотеки Python, необходимые для работы FaceFusion:
python install.py
Теперь вы готовы к работе! Откройте терминал в каталоге установки и запустите FaceFusion:
python run.py
После завершения работы терминала он вернет локальный URL, например http://127.0.0.1:7860/. Скопируйте его и откройте в браузере. Скопируйте этот URL и откройте его в браузере, чтобы запустить deepfake!

MacOS:

MacOS выпускается в двух версиях: старая модель с процессором Intel и более новая модель с кремнием M1 от Apple. Установка в обоих случаях одинакова, а прилагаемые скрипты помогут вам в этом процессе.

Как и в случае с Windows, пользователям Mac перед использованием FaceFusion необходимо установить различные компоненты:

При появлении запроса выберите тип Mac, на который вы хотите установить зависимость. Затем выполните следующую команду:
Установить: pip install -r requirements.txt.
1. Чтобы запустить FaceFusion, убедитесь, что терминал находится в папке FaceFusion, и выполните следующую команду:
   python run.py.
2. Появится URL-адрес, например http://127.0.0.1:7860/. Скопируйте и вставьте этот URL в браузер, чтобы начать генерировать глубокие подделки.

Примечание: Если команды python или pip не работают, попробуйте использовать python3 или pip3.

Руководство пользователя

Визуальный пользовательский интерфейс FaceFusion свеж и интуитивно понятен, в отличие от установки из командной строки.

Источник: FaceFusion

Как использовать FaceFusion:

1. Импортируйте нужное видео: перетащите его в поле «TARGET» или щелкните на «TARGET», чтобы выбрать его во всплывающем окне.
   видеоролик отобразится в разделе «TARGET» и будет помечен как «OUTPUT». Для сохранения воспользуйтесь стрелками в правом верхнем углу предварительного просмотра.

Распознавание лиц: «Поиск» заменяет отображаемое лицо на «исходное». «Множественное» распознает все лица в видеозаписи и заменяет их лицами из «Источника», не позволяя модели ошибочно распознавать лица из разных изображений.

Советы для достижения наилучших результатов:

1. Используйте высококачественные центральные изображения.
   Избегайте изображений с очками, головными уборами или другими препятствиями.
2. Избегайте фотографий с преувеличенным выражением лица.
   Избегайте видеороликов с глубокой подделкой, включающих крик, открывание рта или закрывание лица (прикосновение к лицу, ношение очков, питье чего-либо).
   Помните, что этому инструменту требуется время для обработки каждого кадра видео. Помните, что скорость видео варьируется от 24 до 60 и более кадров в секунду, и что следует поэкспериментировать с более короткими видео, прежде чем переходить к более длинным. Видеоролики TikTok — хорошая отправная точка, и вы также можете использовать этот инструмент для создания видео с частотой более 24 кадров в секунду, но не более 60 кадров в секунду.

Приложение

FaceFusion

В мире deepfake приложение FaceFusion явно выделяется. После многочисленных тестов стало ясно, что FaceFusion приносит результат: использование библиотеки insightface упрощает замену лиц, оптимизируя производительность и удобство работы. Этические принципы отказа от создания NSFW-контента также заслуживают одобрения. Стоит также отметить, что система не генерирует NSFW-контент.

С точки зрения пользователя, возможность локальной работы неоценима. В наше время, когда все большее внимание уделяется вопросам конфиденциальности, независимость от «облачных» ресурсов — очень приятная особенность. Однако будущие версии должны иметь более удобный графический интерфейс, особенно при первоначальной установке.

FaceFusion повышает глобальные ожидания от технологии глубоких подделок и демократизирует процесс разработки, обеспечивая этические гарантии.
Основные моменты:

Advanced features: FaceFusion — это, пожалуй, лучший инструмент на рынке для внутреннего deepfaking, превосходящий многих своих конкурентов благодаря инновационным алгоритмам и функциям.
Локальные функции.
Уменьшение времени обучения: в отличие от многих других инструментов, требующих длительного обучения, FaceFusion значительно сокращает время обучения.
Меры безопасности.

Слабые стороны:

Интуитивность: несмотря на расширенные возможности, FaceFusion может быть пугающим для новых пользователей; репозиторий Github предупреждает пользователей, что «установка требует технических навыков и не подходит для новичков».
Общение с разработчиками: перенаправление пользователей с таких платформ, как GitHub, на Discord не всегда является любимым решением для общения.
Отсутствие графического интерфейса: графический интерфейс установки сделал бы процесс более приятным для новичков и тех, кто не знаком с командной строкой.

Почему бы вам не стать супергероем или суперзвездой? Вы можете не быть CGI-художником, но с помощью FaceFusion вы почти можете им стать