През последните години дигиталният медиен пейзаж се вълнува от термин, който сякаш е изваден от научната фантастика: дълбоки фалшификати. Вече сме далеч отвъд изрязаните анимации от картичките JibJab ecards от 2004 г. – съвременното ниво на аудио- и визуално пресъздаване на реални хора е толкова реалистично, че разграничаването на измисленото съдържание от истинските кадри става все по-трудно.
Както при използването на всеки инструмент, намерението е от значение. Въпреки че дълбоките фалшификати често се посочват като заплаха за правителството, бизнеса и известните личности, подмяната или смяната на лица във видеоклипове не е непременно злонамерена. Може би това е изкуство. Може би е забавление.
Не е задължително и да се прави лесно. Съществуват многобройни инструменти, но повечето от тях са или твърде сложни, или дават незадоволителни резултати.
Навлезте в FaceFusion. Този инструмент предлага безпроблемна смяна и възстановяване на лица във видеоклипове, като се отличава със своята достъпност, бързина и способност да създава реалистични дълбоки фалшификати. Отминаха дните, в които дигиталните художници трябваше трудоемко да картографират, да съчетават или да обучават смяна на лица за всяко видео. Функцията за автоматично откриване на FaceFusion моментално сменя лицата, съчетавайки удобството за потребителя с ефективността.
Скептично настроени? Ето видеоклип, който създадохме само за няколко минути и само с няколко прости кликвания:
Тъй като границата между реалността и цифровите творения става все по-неясна, инструменти като FaceFusion в крайна сметка изискват промяна на парадигмата във възприемането на цифровото съдържание. Невинаги можеш да вярваш на собствените си очи. В тази статия се разглеждат функциите на FaceFusion, процесът на инсталиране и съвместимостта му с платформите Windows и Mac.
Заден план
Един герой, който се превъплъщава в образа на друг, е основен елемент от разказването на истории от векове. А „дълбокият фалшификат“ води началото си от ранните години на киното и фотографията. Техниките за манипулиране на изображения и движещи се картини се развиват заедно с технологиите – от френския филм „Очи без лице“ през 1960 г. до „Face/Off“ през 1997 г. и поредицата „Мисията невъзможна“.
Обикновено това е бил ръчен и трудоемък процес, а ранните дълбоки фалшификати често са страдали от неправилно подредени черти или крещящи несъответствия в осветлението и текстурата. Въвеждането на невронните мрежи и машинното обучение обаче катапултира тази практика в нова ера.
Терминът „deepfake“ – съчетание от „deep learning“ и „fake“ – отразява същността на тази технология. Използвайки алгоритми за дълбоко обучение, компютрите наслагват изображения или видеоклипове върху съществуващ изходен материал.
С напредването на технологиите се повиши и реализмът на дълбоките фалшификати, както и лекотата на създаването им. Новите инструменти демократизираха процеса на създаване, като пренесоха възможностите от холивудските работилници за специални ефекти в домовете и офисите.
Преглед на FaceFusion
Проектиран специално за дълбоки видеофалшификации, FaceFusion беше създаден, за да даде възможност на обикновените потребители на компютри да постигат резултати, които преди бяха запазени за тези със значителна изчислителна мощ и опит.
Основните характеристики на FaceFusion включват:
- Интеграция с най-добрите алгоритми за подобряване на лицето.
- Подобрител на кадъра, който повишава качеството на цялото видео.
- Гъвкавост на обработката с опции за използване на CPU или GPU.
- Подходящ за потребителя интерфейс, пригоден както за начинаещи, така и за експерти.
В голяма степен точността на FaceFusion се дължи на библиотеката „insightface“, която автоматично открива и замества сложни черти на лицето с прецизност, като до голяма степен автоматизира процеса. (Запознатите с дълбоките фалшификати може да разпознаят insightface като технологията, която стои зад Roop – забележителен инструмент, използван за подмяна на лица в изображения, разгледан подробно от TCN).
Едно от първоначалните ограничения на модела insightface е неговата резолюция по подразбиране 128×128 – ограничение, поставено от разработчика по етични причини. Мощните потребители обаче са заобиколили това ограничение и са комбинирали insightface с други алгоритми за подобряване на лицата, като GFPGan, Gpen или Codeformer. Разработчикът на FaceFusion е интегрирал и библиотеката „opennsfw“, която предотвратява генерирането на явно съдържание.
Като съберат всичко заедно, потребителите могат да усъвършенстват изхода, за да създадат остри и ясни лица. Този метод не само подобрява качеството, но и значително намалява времето за обработка.
Наръчник за инсталиране
Изисквания за хардуер:
Изисква се минимум графичен процесор с 4 GB vRAM. Въпреки това, за постигане на оптимални резултати в разумни срокове, се препоръчват 8GB.
Ръководство за инсталиране стъпка по стъпка:
Най-трудната част от използването на FaceFusion е инсталацията, която изисква използването на различни терминални команди, тъй като в момента няма графичен потребителски интерфейс, който да ви преведе през процеса. Това е резюме на официалното ръководство.
Windows:
Преди да инсталирате FaceFusion, инсталирайте Python 3.10, Git, Microsoft Visual C++ 2015 Redistributable и инструментите за изграждане на Microsoft Visual Studio 2022. За да направите това, следвайте следните стъпки:
- Изпълнете последователно следните команди:
winget install -e –id Python.Python.3.10
python -m ensurepip
winget install -e –id Git.Git
winget install -e –id Gyan.FFmpeg
shutdown /r
winget install -e –id Microsoft.VCRedist.2015+.x64
winget install -e –id Microsoft.VisualStudio.2022.BuildTools –override „–wait –add Microsoft.VisualStudio.Workload.NativeDesktop –includeRecommended“
(За по-подробно ръководство вижте предоставените инструкции.)
Потребителите с карти Nvidia трябва също така да инсталират най-новата версия на комплекта инструменти CUDA от този URL адрес и библиотеките cuDNN от този URL адрес.
- За да инсталирате FaceFusion, отидете в папката за инсталиране на FaceFusion и изпълнете следната команда на терминала:
git clone https://github.com/facefusion/facefusion - След като сте инсталирали необходимите компоненти, създайте среда Python за сигурна работа на FaceFusion. Ето как:
- Създайте папка, в която искате да инсталирате FaceFusion.
- Отворете терминал на това място.
- Изпълнете последователно тези команди:
python -m venv venv
venvScriptsactivate - Следва да инсталирате библиотеките Python, необходими за FaceFusion:
python install.py - Вече сте готови! За да стартирате FaceFusion, отворете терминал в директорията за инсталиране и изпълнете:
python run.py - След като завършите, терминалът ще предостави местен URL адрес, като http://127.0.0.1:7860/. Копирайте го и го отворете в браузъра си, за да започнете да създавате своите дълбоки фалшификати!
MacOS:
Mac се предлагат в две разновидности: по-стари модели с процесори Intel и по-нови варианти с Apple силиций M1. Инсталацията е сходна и за двата вида, а предоставеният скрипт ще ви преведе през процеса.
Подобно на Windows, потребителите на Mac трябва да инсталират няколко компонента, преди да използват FaceFusion:
- Инсталиране на Homebrew:
/bin/bash -c „$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)“ - Изпълнете тези команди последователно:
brew install python@3.10
python -m ensurepip
brew install git
brew install ffmpeg - Навигирайте до желаната от вас директория за инсталиране на FaceFusion и клонирайте хранилището на FaceFusion, като изпълните тази команда:
git clone https://github.com/facefusion/facefusion - В терминала отидете в папката FaceFusion и изпълнете:
python -m venv venv
source venv/bin/activate - След това сте готови за работа! От директорията FaceFusion изпълнете командата по-долу и изберете конфигурациите на вашия Mac (Intel, M1 и т.н.):
python install.py - Когато бъдете подканени, изберете типа на вашия Mac, за да инсталирате зависимостите. След това стартирайте:
pip install -r requirements.txt - За да стартирате FaceFusion, уверете се, че терминалът ви е в директорията FaceFusion, и изпълнете:
python run.py - Ще получите URL адрес, като например http://127.0.0.1:7860/. Копирайте и поставете го в браузъра си, за да започнете да генерирате дълбоки фалшификати.
Забележка: Ако командите с префикс python или pip не успеят, опитайте вместо тях да използвате python3 или pip3.
Наръчник на потребителя
За разлика от инсталацията, базирана на команден ред, визуалният потребителски интерфейс на FaceFusion е освежаващо интуитивен:
Източник: FaceFusion
Как да използвате FaceFusion:
- Импортирайте желаното видео: Плъзнете и го пуснете в полето „ЦЕЛ“ или щракнете върху „ЦЕЛ“ и го изберете от изскачащия прозорец.
- Изберете лицето, което да смените: По същия начин плъзнете и пуснете или използвайте полето „ИЗТОЧНИК“.
- Параметрите на модела са предварително зададени за постигане на най-добри средни резултати. Щракнете върху „Старт“ и наблюдавайте трансформацията.
- Новогенерираният видеоклип ще се покаже под „TARGET“ (Цел), обозначен като „OUTPUT“ (Изход). Запазете го, като използвате стрелката в горния десен ъгъл на визуализацията.
За тези, които искат да регулират параметрите, ето някои ключови определения:
- Разстояние между лицата: Мярка за сходство на лицата. Ниската стойност може да предотврати размяната, докато твърде високата стойност може да доведе до артефакти. Стойностите между 2 и 2,5 често дават добри резултати.
- Откриване на анализатор на лица: Определя как моделът сканира за лица. По подразбиране е отляво надясно, но понякога настройката отгоре надолу дава по-добри резултати.
- Провайдери за изпълнение: За мощни компютри активирайте GPU ускорението с CoreML (Mac от серия M) или CUDA и Tensorrt (Windows). Избирането само на CPU ще бъде значително по-бавно.
- Модел за подобряване на лицето: Различните модели дават различни резултати въз основа на референтни лица. GFPGan 1.4 често е по-добър, но експериментирането може да е от полза. От съществено значение е да изберете един – в противен случай лицата може да изглеждат размазани или нереалистични.
- Модел за подобряване на кадъра: Подобрява качеството на всеки кадър. Чудесно за детайлни проекти, но може да отнеме много време. Например, видеоклип с активиран подобрител на кадри и лица понякога може да отнеме часове в сравнение с няколко минути, ако подобрителят на кадри не е активиран.
- Разпознаване на лица: „Справка“ разменя визуализираното лице с лицето от „ИЗТОЧНИКА“. „Много“ разпознава всички лица от видеото и ги заменя с лицето от източника, като се справя със случаите, в които моделът може да разпознае неправилно лицата в различните кадри.
Съвети за оптимални резултати:
- Използвайте центрирано, висококачествено изображение.
- Избягвайте снимки с очила, шапки или други препятствия.
- Избягвайте снимки с преувеличени изражения.
- Въздържайте се от дълбоко заснемане на видеоклипове, в които субектите крещят, отварят широко устата си или блокират лицата си (докосват лицето си, слагат очила, пият нещо и т.н.)
- Запомнете, че този инструмент се нуждае от време, за да работи върху всеки кадър от видеоклипа. Като се има предвид, че видеоклиповете имат от 24 до 60 и дори повече кадъра в секунда, ще трябва да експериментирате с кратки видеоклипове, преди да преминете към по-дълги. Видеоклиповете TikTok са добро място за начало.
Преглед на FaceFusion
В света на дълбоките фалшификати FaceFusion наистина засенчва много от своите колеги. След обстойно тестване е ясно, че FaceFusion предоставя резултати. Използването на библиотеката insightface рационализира подмяната на лица, като оптимизира ефективността и потребителското изживяване. Похвален е и етичният ѝ ангажимент за предотвратяване на генерирането на NSFW съдържание.
От гледна точка на потребителите възможността за локална работа е безценна. В епохата на повишена загриженост за поверителността на данните независимостта от ресурсите, базирани в облака, е добре дошла характеристика. Бъдещите версии обаче трябва да предлагат по-удобен за потребителя графичен интерфейс, особено при първоначална инсталация.
FaceFusion повиши общите очаквания за технологията на дълбоките фалшификати, като демократизира процеса на създаване с етични гаранции.
Силни страни:
- Разширени възможности: FaceFusion е безспорно най-добрият инструмент на пазара за домашно направени дълбоки фалшификати, който превъзхожда много аналози с иновативните си алгоритми и функции.
- Местни операции: В нашата епоха, ориентирана към облаците, способността на FaceFusion да функционира офлайн зачита неприкосновеността на личния живот на потребителите и подчертава неговата ефективност.
- Намалено време за обучение: За разлика от много инструменти, които изискват дълги периоди на обучение, FaceFusion значително намалява изискванията за време.
- Мерки за безопасност: Интегрирането на opennsfw за откриване и предотвратяване на генерирането на NSFW изображения осигурява отговорно използване на инструмента и предпазва от потенциална злоупотреба.
Слаби страни:
- Интуитивност за потребителя: Въпреки усъвършенстваните си функции FaceFusion може да стресне потребителите, които за пръв път се обръщат към него. Хранилището в Github дори предупреждава потребителите, като казва: „инсталацията изисква технически умения и не е за начинаещи“.
- Комуникация с разработчиците: Пренасочването на потребителите от платформи като GitHub към Discord може да не е предпочитана от всички комуникация.
- Липса на графичен интерфейс: Графичен потребителски интерфейс за инсталиране би могъл да направи процеса по-привлекателен за начинаещите или за тези, които са по-малко запознати с командния ред.
Най-вече защо да не се превърнете в супергерой или суперзвезда? Може да не сте художник на CGI, но с FaceFusion почти сте такъв.
