Nous avons parcouru un long chemin depuis Adobe Flash et les cartes électroniques animées de JibJab.
Deux décennies plus tard, les personnes disposant d’un ordinateur et d’un peu de temps libre peuvent créer des animations de haute qualité (de personnes réelles et d’illustrations) en quelques clics et sans aucune connaissance de l’édition numérique.
C’est du moins ce que prétend « Animate Anyone », un modèle d’IA présenté par l’équipe de recherche en IA d’Alibaba, une multinationale chinoise spécialisée dans les technologies du commerce électronique et de la vente au détail. Une vidéo de sa technologie à l’œuvre – qui prétend pouvoir animer n’importe quelle photo avec une cohérence et un contrôle remarquables – a captivé l’imagination de millions de personnes.
Alibaba affirme qu’Animate Anyone peut transformer des photos en vidéos « en fonction des séquences de poses souhaitées et de la continuité temporelle », a expliqué la startup d’avatars d’IA MyCompanions sur Twitter. « Moins de pépins et pas de doigts supplémentaires, c’est vraiment cool !
L’équipe ajoute que cette technologie ouvre la voie à de nouveaux cas d’utilisation chez les influenceurs : Des vêtements générés par l’IA et la création d’un marché pour des vidéos produites en masse mais personnalisées.
Des vidéos courtes à partir d’une seule photo ? Nous pourrons bientôt le faire pour tous nos influenceurs !
D’après les dernières recherches de pointe menées par le groupe Alibaba, nous y sommes presque. Pourquoi cette technologie est-elle importante ? Comment les influenceurs peuvent-ils utiliser au mieux cette technologie ?
Fil ci-dessous pic.twitter.com/C4QCJCeEXP
– MyCompanions (@MyCompanionsAI) Le 3 décembre 2023
La page GitHub du modèle a été inondée de demandes d’accès au code source. En réponse, l’équipe a rassuré le public en indiquant qu’elle rendrait la démo et le code disponibles à une date encore indéterminée.
« Merci à tous pour votre incroyable soutien et l’intérêt que vous portez à notre projet », a déclaré l’équipe lors de la dernière mise à jour du projet sur Github. « Nous voulons vous assurer que nous travaillons activement à la préparation de la démo et du code en vue d’une diffusion publique. »
La déclaration a suscité plus de 240 commentaires positifs en moins d’une journée.
Si la démonstration vidéo est exacte, Animate Anyone peut être utilisé pour créer des résultats vidéo clairs et stables dans le temps tout en conservant l’apparence du personnage de référence. Cela semble être le résultat de l’intégration de modèles de diffusion dans un nouveau cadre appelé ReferenceNet, qui peut fusionner des caractéristiques détaillées par le biais de l’attention spatiale.
Pour ce faire, il prend l’image de référence, déplace les parties pour suivre la pose souhaitée, puis comble les lacunes qui doivent l’être afin de donner l’illusion d’un mouvement cohérent pour chaque image de la vidéo générée. La séquence dite « openpose » permet d’obtenir une animation presque sans faille.
Animate Anyone suscite également des comparaisons favorables avec d’autres outils d’animation populaires tels que AnimateDiff, Warpfusion, Deforum et ebSynth. Ces outils existants ne parviennent pas toujours à générer des images cohérentes, ce qui permet d’identifier facilement les vidéos générées par l’IA. En revanche, Animate Anyone produit des vidéos plus raffinées, dont les images sont cohérentes et dont l’animation est presque indiscernable de la réalité.
L’équipe d’Animate Anyone n’a pas répondu à une demande de commentaire de TCN.
Au milieu de la frénésie, cependant, un modèle similaire appelé MagicAnimate est également apparu comme un concurrent solide. Récemment mis à disposition pour des tests locaux, MagicAnimate adopte une approche légèrement différente du processus d’animation. Bien qu’il ne soit pas aussi populaire, son lancement offre une alternative à ceux qui souhaitent explorer plus en profondeur le domaine de l’animation pilotée par l’IA.
MagicAnimate : Animation d’images humaines cohérentes dans le temps à l’aide d’un modèle de diffusion avec @Gradio demo
démo locale : https://t.co/ScsEU6oG64
Cet article étudie la tâche d’animation d’images humaines, qui vise à générer une vidéo d’une certaine identité de référence suivant un mouvement particulier… pic.twitter.com/JCOr0yCRZs
– AK (@_akhaliq) December 4, 2023
Contrairement à Animate Anyone, qui utilise également un modèle de diffusion mais qui se concentre sur l’animation contrôlable et cohérente à partir d’images, MagicAnimate se différencie en améliorant la cohérence temporelle et la préservation de l’identité. Son codeur d’apparence unique et sa technique de fusion vidéo permettent des transitions plus fluides dans les longues animations vidéo et une meilleure préservation des détails d’une image à l’autre.
Si MagicAnimate excelle dans la cohérence temporelle et la qualité par image, il ne semble toutefois pas être aussi précis que son concurrent.
Alex Carliera, ancien chercheur de Meta AI, a eu l’occasion de tester MaticAnimate et, bien qu’il l’ait qualifié de « première étape importante pour la génération cohérente de vidéos à partir d’une seule image », il a noté que les générations n’étaient pas 100% précises par rapport à l’image de référence, déformant le corps dans certaines images.
J’ai testé le ControlNet pour la vidéo (MagicAnimate) et voici mon avis : il fonctionne très bien mais a quelques défauts.
– l’identité de la vidéo de mouvement s’infiltre dans la vidéo résultante (et déforme la forme du corps)
– les mains et le visage sont mauvais (sans surprise !)Mais un excellent premier pas pour être cohérent… https://t.co/zY9tZZ6MaK pic.twitter.com/J9XELE5NGT
– Alex Carlier (@alexcarliera) Le 4 décembre 2023
Si vous ne savez pas danser et que vous vous sentez exclu de la dernière chorégraphie TikTok, Animate Anyone et MagicAnimate peuvent peut-être être votre ticket pour le succès viral.
