Les « deep fakes » simplifiés par l’intelligence artificielle : un regard approfondi sur FaceFusion

Ces dernières années, un terme qui semble tout droit sorti de la science-fiction est apparu dans le paysage des médias numériques : les deepfakes. Nous avons déjà largement dépassé les animations de découpage caricaturales des tympans JibJab de 2004 – l’état de l’art en matière de reconstitutions audio et visuelles de personnes réelles est si réaliste qu’il devient de plus en plus difficile de distinguer un contenu fictif d’une séquence réelle.

Comme pour l’utilisation de tout outil, l’intention est importante. Bien que les deepfakes soient souvent cités comme une menace pour le gouvernement, les entreprises et les célébrités, changer les visages dans les vidéos n’est pas nécessairement une intention malveillante. Il peut s’agir d’art. Il peut s’agir d’un divertissement.

Ce n’est même pas nécessairement facile. Il existe un certain nombre d’outils sur le marché, mais la plupart sont trop compliqués ou donnent des résultats médiocres.

Voici FaceFusion. Cet outil permet de remplacer et de restaurer des visages dans des vidéos de manière transparente et excelle en termes d’accessibilité, de rapidité et de capacité à créer des « deepfakes » réalistes. L’époque où les artistes numériques devaient laborieusement cartographier les visages, les associer ou s’entraîner à échanger les visages pour chaque vidéo est révolue. La fonction de détection automatique de FaceFusion échange les visages instantanément, alliant convivialité et efficacité.

Vous êtes sceptique ? Voici une vidéo que nous avons réalisée en quelques minutes et en quelques clics :

Alors que la frontière entre la réalité et les créations numériques devient de plus en plus floue, des outils comme FaceFusion exigent en fin de compte un changement de paradigme dans notre perception du contenu numérique. On ne peut pas toujours se fier à ses propres yeux. Cet article examine FaceFusion, en abordant ses caractéristiques, son processus d’installation et sa compatibilité avec les plates-formes Windows et Mac.

Arrière-plan

Un personnage qui prend le visage d’un autre personnage est une caractéristique habituelle des récits depuis des siècles. Le « deepfake » trouve son origine dans les débuts du cinéma et de la photographie. Les techniques de manipulation des images et des images en mouvement ont évolué avec la technologie, depuis le film français de 1960 Les yeux sans visage jusqu’au film Face/Off de 1997 et à la franchise Mission Impossible.

Il s’agissait généralement d’un processus manuel et laborieux, et les premiers deepfakes présentaient souvent des traits mal assortis ou des incohérences flagrantes au niveau de l’éclairage et de la texture. Cependant, l’introduction des réseaux neuronaux et de l’apprentissage automatique a catapulté la pratique dans une nouvelle ère.

Le terme « deepfake » – combinaison des mots « deep learning » (apprentissage profond) et « fake » (faux) – capture l’essence de cette technologie. À l’aide d’algorithmes d’apprentissage profond, les ordinateurs superposent des images ou des vidéos à du matériel source existant.

Avec les progrès technologiques, le réalisme des deepfakes et la facilité avec laquelle ils peuvent être créés ont augmenté. De nouveaux outils ont démocratisé le processus de création et ont fait passer cette capacité des ateliers d’effets spéciaux hollywoodiens aux foyers et aux bureaux.

Vue d’ensemble

FaceFusion

Conçu spécifiquement pour les deepfakes vidéo, FaceFusion a été créé pour permettre à de simples utilisateurs d’ordinateurs d’obtenir des résultats auparavant réservés à ceux qui disposaient d’une grande puissance de calcul et d’une grande expertise.

Les principales caractéristiques de FaceFusion sont :

• Intégration d’algorithmes avancés d’amélioration des visages.
• Améliorateur de trame qui améliore la qualité de l’ensemble de la vidéo.
  Interface conviviale pour les débutants et les experts.

La précision de FaceFusion est due en grande partie à sa bibliothèque « insightface », qui reconnaît et remplace automatiquement et avec précision les traits complexes du visage, automatisant ainsi largement l’ensemble du processus. (Ceux qui connaissent les deepfakes reconnaîtront peut-être qu’insightface est la technologie qui se cache derrière Roop, un outil remarquable utilisé pour remplacer les visages dans les images, dont TCN a déjà parlé en détail).

L’une des limites initiales d’insightface est sa résolution par défaut de 128×128, une restriction imposée par le développeur pour des raisons éthiques. Cependant, des utilisateurs expérimentés ont contourné cette limitation et ont combiné insightface avec d’autres algorithmes d’amélioration des visages, tels que GFPGan, Gpen et Codeformer. Le développeur de FaceFusion a également intégré la bibliothèque « opennsfw », qui empêche la génération de contenu explicite.

En combinant tous ces éléments, les utilisateurs peuvent affiner le résultat et créer des visages nets et clairs. Cette méthode permet non seulement d’améliorer la qualité, mais aussi de réduire considérablement le temps de traitement.

Assistant d’installation

Configuration matérielle requise:

Un GPU avec au moins 4 Go de RAM est nécessaire. Cependant, 8 Go sont recommandés pour des résultats optimaux dans un délai raisonnable.

Guide d’installation pas à pas:

Guide d’installation pas à pas:

Guide d’installation pas à pas.
La partie la plus difficile de l’utilisation de FaceFusion est l’installation. Elle nécessite l’utilisation de diverses commandes de terminal, car il n’existe actuellement aucune interface utilisateur graphique pour vous guider tout au long du processus. Voici un résumé du manuel officiel.

Windows:

Avant d’installer FaceFusion, installez Python 3.10, Git, Microsoft Visual C++ 2015 Redistributable et les outils de construction Microsoft Visual Studio 2022. Pour ce faire, suivez les étapes suivantes :

Exécutez consécutivement les commandes suivantes :
winget install -e –id Python.Python.3.10
python -m ensurepip
winget install -e –id Git.Git
winget install -e –id Gyan.FFmpeg
close /r
winget install -e –id Microsoft.VCRedist.2015+.x64
winget install -e –id Microsoft.VisualStudio.2022.BuildTools –override « –wait –add Microsoft.VisualStudio.Workload.NativeDesktop –includeRecommended ».
(Voir les instructions incluses pour des instructions plus détaillées.)

Les utilisateurs de cartes Nvidia doivent également installer la dernière version de la boîte à outils CUDA à partir de cette URL et la bibliothèque cuDNN à partir de cette URL.

Pour installer FaceFusion, naviguez jusqu’au répertoire d’installation de FaceFusion et exécutez la commande de terminal suivante :
git clone https://github.com/facefusion/facefusion
1. Après avoir installé les composants requis, créez un environnement Python pour exécuter FaceFusion en toute sécurité. La procédure est la suivante :
   Créez un dossier dans lequel vous souhaitez installer FaceFusion.
2. Ouvrez un terminal à cet endroit.
   Exécutez consécutivement les commandes suivantes :

python -m venv venv
activate venv
A la fin de l’exécution, le terminal renvoie une URL locale, par exemple http://127.0.0.1:7860/. Copiez-la et ouvrez-la dans votre navigateur. Copiez et ouvrez ceci dans votre navigateur et commencez à faire vos deepfakes !

MacOS:

Les Macs existent en deux versions : les anciens modèles avec des processeurs Intel et les nouveaux modèles avec le silicium M1 d’Apple. L’installation est la même pour les deux et le script fourni vous guide tout au long du processus.

Comme pour Windows, les utilisateurs de Mac doivent installer plusieurs composants avant de pouvoir utiliser FaceFusion :

1. Installer homebrew :
   (curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh) ».
   Naviguez vers le dossier désiré pour l’installation de FaceFusion et clonez le dépôt FaceFusion avec cette commande :
   git clone https://github.com/facefusion/facefusion
2. Dans le terminal, naviguez jusqu’au dossier FaceFusion et exécutez la commande :
   Python -m venv venv
   source venv/bin/activate
   Quand on vous le demande, sélectionnez votre type de Mac pour installer les dépendances. Exécutez ensuite la commande suivante :
   Installer : pip install -r requirements.txt
3. Pour démarrer FaceFusion, assurez-vous que le terminal se trouve dans le dossier FaceFusion et exécutez ce qui suit :
   python run.py
4. Vous obtiendrez une URL, par exemple http://127.0.0.1:7860/. Copiez et collez cette URL dans votre navigateur et commencez à générer des deepfakes.

Note : Si les commandes de préfixe python ou pip échouent, essayez d’utiliser python3 ou pip3 à la place.

Guide d’utilisation

L’interface utilisateur visuelle de FaceFusion est rafraîchissante et intuitive, contrairement à une installation en ligne de commande:

Source : FaceFusion

Comment utiliser FaceFusion:

1. Importez la vidéo que vous souhaitez : Faites-la glisser dans la case « TARGET » ou cliquez sur « TARGET » et sélectionnez-la dans la fenêtre pop-up.
   La nouvelle vidéo générée est affichée sous « TARGET » et étiquetée « OUTPUT ». Enregistrez-la à l’aide de la flèche située dans le coin supérieur droit de l’aperçu.

Pour ceux qui souhaitent personnaliser les paramètres, voici quelques définitions importantes :

Reconnaissance des visages : « Référence » remplace le visage affiché par le visage de la « SOURCE ». « Many » détecte tous les visages de la vidéo et les remplace par le visage de la source, afin d’éviter que le modèle n’identifie pas correctement les visages dans différentes images.

Conseils pour des résultats optimaux:

1. Utiliser une image centrée de haute qualité.
   Évitez les photos avec des lunettes, des chapeaux ou d’autres obstacles.
2. Évitez les photos avec des expressions exagérées.
   N’oubliez pas que cet outil prend du temps pour traiter chaque image vidéo. Gardez à l’esprit que les vidéos ont de 24 à 60 images par seconde, voire plus, et que vous devrez expérimenter avec des vidéos courtes avant de passer à des vidéos plus longues. Les vidéos TikTok sont un bon point de départ.

Présentation de l’application

FaceFusion

Dans le monde des deepfakes, FaceFusion se démarque nettement des autres. Après des tests approfondis, il est clair que FaceFusion donne des résultats. L’utilisation de la bibliothèque insightface rationalise l’échange de visages, optimisant l’efficacité et l’expérience de l’utilisateur. L’engagement éthique à ne pas générer de contenu NSFW est également louable.

Du point de vue de l’utilisateur, la possibilité de travailler localement est inestimable. À une époque où les préoccupations en matière de protection de la vie privée sont de plus en plus fortes, l’indépendance vis-à-vis des ressources en nuage est une caractéristique bienvenue. Toutefois, les versions futures devraient offrir une interface graphique plus conviviale, en particulier pour l’installation initiale.

FaceFusion a augmenté les attentes globales en matière de technologie deepfake et a démocratisé le processus de développement avec des garanties éthiques.
Points forts:

Mesures de sécurité.

Faiblesses:

Absence d’interface graphique : Une interface graphique pour l’installation rendrait le processus plus confortable pour les débutants ou les personnes qui ne sont pas familières avec la ligne de commande.

Pourquoi ne deviendriez-vous pas un super-héros ou une superstar ? Vous n’êtes peut-être pas un artiste CGI, mais avec FaceFusion vous pouvez presque en devenir un