V posledních letech se v prostředí digitálních médií objevil termín jako vystřižený ze science fiction: deepfakes. Jsme daleko za hranicí kreslených vystřižených animací z ekardonů JibJab z roku 2004 – stav techniky v oblasti zvukových a vizuálních rekonstrukcí skutečných lidí je tak realistický, že rozlišit vymyšlený obsah od skutečných záběrů je stále obtížnější.
Stejně jako při používání jakéhokoli nástroje záleží na záměru. Zatímco deepfakes jsou často zmiňovány jako hrozba pro vládu, podniky a celebrity, výměna nebo změna tváří ve videích nemusí být nutně nekalá. Možná je to umění. Možná je to zábava.
Ani to nemusí být nutně snadné. Existuje řada nástrojů, ale většina z nich je buď příliš složitá, nebo přináší podprůměrné výsledky.
Vstupte do nástroje FaceFusion. Tento nástroj nabízí bezproblémovou výměnu a obnovu obličejů ve videích a vyniká svou dostupností, rychlostí a schopností vytvářet realistické deepfakes. Pryč jsou doby, kdy digitální umělci museli pracně mapovat, párovat nebo trénovat výměnu obličejů pro každé video. Funkce automatické detekce FaceFusion okamžitě vymění obličeje a spojí tak uživatelskou přívětivost s efektivitou.
Jste skeptičtí? Zde je video, které jsme vytvořili za pouhých několik minut a pomocí několika jednoduchých kliknutí:
Jelikož se hranice mezi realitou a digitálními výtvory stále více stírá, nástroje jako FaceFusion nakonec vyžadují změnu paradigmatu našeho vnímání digitálního obsahu. Nemůžete vždy věřit vlastním očím. Tento článek se zabývá programem FaceFusion, zkoumá jeho funkce, proces instalace a kompatibilitu s platformami Windows i Mac.
Pozadí
Jedna postava obývající vizáž jiné postavy je základem vyprávění příběhů již po staletí. A „deepfake“ má svůj původ v raném filmu a fotografii. Techniky manipulace s obrazy a pohyblivými obrázky se vyvíjely spolu s technologiemi, od francouzského filmu Oči bez tváře z roku 1960 přes Face/Off z roku 1997 až po sérii Mission Impossible.
Obvykle se jednalo o ruční a pracný proces a rané deepfakes často trpěly špatně nastavenými rysy nebo do očí bijícími nesrovnalostmi v osvětlení a textuře. Zavedení neuronových sítí a strojového učení však tuto praxi katapultovalo do nové éry.
Termín „deepfake“ – spojení slov „deep learning“ a „fake“ – vystihuje podstatu této technologie. Pomocí algoritmů hlubokého učení počítače překrývají obrázky nebo videa na existující zdrojový materiál.
S technologickým pokrokem se zvýšila realističnost deepfakes a snadnost jejich vytváření. Nové nástroje zdemokratizovaly proces tvorby a přenesly tuto schopnost z hollywoodských dílen na speciální efekty do domácností a kanceláří.
Přehled FaceFusion
FaceFusion, navržená speciálně pro video deepfakes, byla vytvořena tak, aby umožnila běžným uživatelům počítačů dosahovat výsledků, které byly dříve vyhrazeny pouze osobám se značným výpočetním výkonem a odbornými znalostmi.
Mezi klíčové funkce aplikace FaceFusion patří:
- Integrace se špičkovými algoritmy pro vylepšování tváří.
- Zlepšovač snímků, který zvyšuje kvalitu celého videa.
- Flexibilita zpracování s možností využití CPU nebo GPU.
- Uživatelsky přívětivé rozhraní přizpůsobené pro začátečníky i experty.
Velkou zásluhu na přesnosti aplikace FaceFusion má knihovna „insightface“, která automaticky a přesně rozpoznává a nahrazuje složité rysy obličeje a do značné míry automatizuje celý proces. (Ti, kdo znají deepfakes, možná poznají, že insightface je technologie, která stojí za Roopem, pozoruhodným nástrojem používaným k výměně obličejů na obrázcích, který TCN již dříve podrobně recenzoval).
Jedním z počátečních omezení modelu insightface je jeho výchozí rozlišení 128×128, což je omezení stanovené vývojářem z etických důvodů. Zkušení uživatelé však toto omezení obešli a dále kombinovali insightface s dalšími algoritmy pro vylepšování obličejů, jako jsou GFPGan, Gpen nebo Codeformer. Vývojář FaceFusion také integroval knihovnu „opennsfw“, která zabraňuje generování explicitního obsahu.
Spojením všeho dohromady mohou uživatelé zdokonalovat výstup a vytvářet ostré a jasné obličeje. Tato metoda nejen zvyšuje kvalitu, ale také výrazně zkracuje dobu zpracování.
Průvodce instalací
Požadavky na hardware:
Je vyžadován minimálně grafický procesor se 4 GB paměti vRAM. Pro dosažení optimálních výsledků v rozumném časovém horizontu se však doporučuje 8 GB.
Průvodce instalací krok za krokem:
Nejsložitější částí používání aplikace FaceFusion je instalace, která vyžaduje použití různých terminálových příkazů, protože v současné době neexistuje žádné grafické uživatelské rozhraní, které by vás procesem provedlo. Toto je shrnutí oficiálního průvodce.
Windows:
Před instalací aplikace FaceFusion nainstalujte Python 3.10, Git, Microsoft Visual C++ 2015 Redistributable a nástroje pro sestavení Microsoft Visual Studio 2022. Za tímto účelem postupujte podle následujících kroků:
- Vykonejte postupně následující příkazy:
winget install -e –id Python.Python.3.10
python -m ensurepip
winget install -e –id Git.Git
winget install -e –id Gyan.FFmpeg
shutdown /r
winget install -e –id Microsoft.VCRedist.2015+.x64
winget install -e –id Microsoft.VisualStudio.2022.BuildTools –override „–wait –add Microsoft.VisualStudio.Workload.NativeDesktop –includeRecommended“
(Podrobnější návod naleznete v přiložených pokynech.)
Uživatelé s kartami Nvidia by si také měli nainstalovat nejnovější verzi sady nástrojů CUDA z této adresy URL a knihovny cuDNN z této adresy URL.
- Chcete-li nainstalovat FaceFusion, přejděte do instalační složky FaceFusion a spusťte následující terminálový příkaz:
git clone https://github.com/facefusion/facefusion - Po instalaci potřebných komponent vytvořte prostředí Python pro bezpečný provoz aplikace FaceFusion. Postup je následující:
- Vytvořte složku, do které chcete FaceFusion nainstalovat.
- Otevřete v tomto umístění terminál.
- Vykonejte postupně tyto příkazy:
python -m venv venv
venvScriptsactivate - Dále nainstalujte knihovny Python potřebné pro FaceFusion:
python install.py - Nyní jste připraveni! Chcete-li spustit FaceFusion, otevřete terminál v instalačním adresáři a spusťte:
python run.py - Po dokončení terminál poskytne místní adresu URL, například http://127.0.0.1:7860/. Zkopírujte a otevřete ji v prohlížeči a začněte vytvářet své deepfakes!
MacOS:
Macy se vyrábějí ve dvou variantách: starší modely s procesory Intel a novější varianty s křemíkem Apple M1. Instalace je u obou podobná a dodaný skript vás provede celým procesem.
Podobně jako v případě systému Windows musí uživatelé počítačů Mac před použitím aplikace FaceFusion nainstalovat několik komponent:
- Instalace Homebrew:
(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)“. - Vykonejte tyto příkazy postupně:
brew install python@3.10
python -m ensurepip
brew install git
brew install ffmpeg - Přejděte do požadovaného adresáře pro instalaci FaceFusion a naklonujte repozitář FaceFusion provedením tohoto příkazu:
git clone https://github.com/facefusion/facefusion - V terminálu přejděte do složky FaceFusion a spusťte příkaz:
Python -m venv venv
source venv/bin/activate - Poté můžete začít! V adresáři FaceFusion spusťte níže uvedený příkaz a vyberte konfiguraci svého Macu (Intel, M1 atd.):
python install.py - Pokud se zobrazí výzva, vyberte typ svého Macu pro instalaci závislostí. Poté spusťte:
Instalace: pip install -r requirements.txt - Chcete-li spustit FaceFusion, ujistěte se, že se terminál nachází v adresáři FaceFusion, a spusťte:
python run.py - Obdržíte adresu URL, například http://127.0.0.1:7860/. Zkopírujte a vložte ji do prohlížeče a začněte generovat deepfakes.
Poznámka: Pokud příkazy s předponou python nebo pip selžou, zkuste místo nich použít python3 nebo pip3.
Uživatelská příručka
Vizuální uživatelské rozhraní aplikace FaceFusion je na rozdíl od instalace založené na příkazovém řádku osvěžujícím způsobem intuitivní:
Zdroj: FaceFusion
Jak používat FaceFusion:
- Importujte požadované video: Přetáhněte jej do pole „TARGET“ nebo klikněte na „TARGET“ a vyberte jej z vyskakovacího okna.
- Vyberte obličej, který chcete vyměnit: Podobně přetáhněte a pusťte nebo použijte pole „SOURCE“.
- Parametry modelu jsou přednastaveny pro dosažení nejlepších průměrných výsledků. Klepněte na tlačítko „Start“ a sledujte transformaci.
- Nově vygenerované video se zobrazí pod „TARGET“ s označením „OUTPUT“. Uložte jej pomocí šipky v pravém horním rohu náhledu.
Pro ty, kteří chtějí upravit parametry, uvádíme několik klíčových definic:
- Vzdálenost obličeje: Míra podobnosti obličejů. Nízká hodnota může zabránit výměně, zatímco příliš vysoká hodnota může způsobit artefakty. Hodnoty mezi 2 a 2,5 často poskytují dobré výsledky.
- Detekce analyzátoru tváří: Určuje, jakým způsobem model vyhledává obličeje. Výchozí nastavení je zleva doprava, ale někdy nabízí lepší výsledky nahoru dolů.
- Poskytovatelé provedení: U výkonných počítačů povolte akceleraci GPU pomocí CoreML (počítače Mac řady M) nebo CUDA a Tensorrt (Windows). Výběr pouze CPU bude výrazně pomalejší.
- Model vylepšení obličeje: Různé modely poskytují různé výsledky na základě referenčních tváří. GFPGan 1.4 je často lepší, ale experimentování může být přínosné. Je nezbytné vybrat jeden z nich – jinak by se tváře mohly zdát rozmazané nebo nerealistické.
- Model pro vylepšení snímku: Vylepšuje kvalitu každého snímku. Skvělé pro detailní projekty, ale může být časově velmi náročné. Například video s aktivovaným vylepšovačem snímků a obličejů může někdy trvat hodiny oproti několika minutám, pokud vylepšovač snímků aktivován není.
- Rozpoznávání tváří: „Reference“ vymění zobrazenou tvář za tvář „ZDROJE“. „Mnoho“ detekuje všechny obličeje na videu a nahrazuje je zdrojovým obličejem, čímž řeší případy, kdy by model mohl nesprávně identifikovat obličeje napříč snímky.
Tipy pro optimální výsledky:
- Používejte vycentrovaný, vysoce kvalitní snímek.
- Vyhněte se fotografiím s brýlemi, klobouky nebo jinými překážkami.
- Vyhněte se fotografiím s přehnanými výrazy.
- Vyvarujte se deepfakingových videí, na kterých subjekty křičí, otevírají ústa dokořán nebo si zakrývají obličej (dotýkají se tváře, nasazují si brýle, něco pijí atd.).
- Pamatujte, že tento nástroj potřebuje čas na zpracování každého snímku videa. Vezměte v úvahu, že videa mají od 24 do 60 a dokonce i více snímků za sekundu, budete muset experimentovat s krátkými videi, než přejdete k delším. Dobrým začátkem jsou videa TikTok.
Recenze aplikace FaceFusion
Ve světě deepfakes FaceFusion skutečně zastiňuje mnoho svých kolegů. Po rozsáhlém testování je jasné, že FaceFusion přináší výsledky. Jeho použití knihovny insightface zefektivňuje výměnu tváří, optimalizuje efektivitu a uživatelský komfort. Chvályhodný je také jeho etický závazek zabránit generování NSFW obsahu.
Z uživatelského hlediska je neocenitelná možnost lokálního provozu. V době zvýšených obav o ochranu osobních údajů je nezávislost na cloudových zdrojích vítanou vlastností. Budoucí verze však musí nabídnout uživatelsky přívětivější grafické rozhraní, zejména pro počáteční instalaci.
FaceFusion zvýšil celková očekávání od technologie deepfake a demokratizoval proces tvorby s etickými zárukami.
Silné stránky:
- Pokročilé schopnosti: FaceFusion je pravděpodobně nejlepším nástrojem na trhu pro domácí tvorbu deepfakes, který svými inovativními algoritmy a funkcemi překonává mnoho kolegů.
- Místní provoz: V naší době zaměřené na cloudové služby respektuje schopnost aplikace FaceFusion fungovat offline soukromí uživatelů a podtrhuje její efektivitu.
- Snížení doby tréninku: Na rozdíl od mnoha nástrojů, které vyžadují zdlouhavé tréninky, FaceFusion výrazně snižuje časové nároky.
- Bezpečnostní opatření: Integrace opennsfw pro detekci a prevenci generování NSFW obrázků zajišťuje zodpovědné používání nástroje a chrání před možným zneužitím.
Slabé stránky:
- Uživatelská intuitivnost: Navzdory svým pokročilým funkcím může FaceFusion zastrašit uživatele, kteří jej používají poprvé. Repozitář Github dokonce uživatele varuje slovy: „instalace vyžaduje technické dovednosti a není určena pro začátečníky“.
- Komunikace s vývojáři: Přesměrování uživatelů z platforem, jako je GitHub, na Discord nemusí být komunikační preferencí každého.
- Nedostatek grafického uživatelského rozhraní: Grafické uživatelské rozhraní pro instalaci by mohlo proces zpříjemnit začátečníkům nebo těm, kteří nejsou tak dobře obeznámeni s příkazovým řádkem.
No a proč se neproměnit v superhrdinu nebo superstar? Možná nejste umělci CGI, ale s aplikací FaceFusion se jimi téměř stanete
