Meta a présenté jeudi un aperçu de ses deux derniers outils d’IA, Emu Video et Emu Edit, offrant ainsi un premier aperçu de la technologie annoncée lors de Meta Connect en septembre. Emu Video est un outil qui permet aux utilisateurs de créer des vidéos à partir de simples invites textuelles, tandis qu’Emu Edit introduit une approche différente de l’édition d’images, connue sous le nom d’inpainting.
Aujourd’hui, nous partageons deux nouvelles avancées dans notre recherche sur l’IA générative : Emu Video & ; Emu Edit.
Détails ➡️ https://t.co/qm8aejgNtd
Ces nouveaux modèles offrent des résultats passionnants en matière de génération texte-vidéo de haute qualité, basée sur la diffusion, et d’édition d’images contrôlée avec des instructions textuelles.
– AI at Meta (@AIatMeta) November 16, 2023
L’introduction d’Emu Video et d’Emu Edit est un mouvement stratégique pour Meta, qui s’aligne toujours sur sa vision plus large du Metaverse. Selon la société, ces outils offrent de nouvelles capacités créatives conçues pour séduire un large éventail d’utilisateurs, qu’il s’agisse de créateurs de contenu professionnels ou de personnes cherchant simplement de nouveaux moyens d’exprimer leurs idées.
Emu Video, en particulier, démontre l’engagement de la société à faire progresser la génération de contenu basée sur l’IA et pourrait devenir un concurrent majeur face à des noms populaires comme Runway et Pika Labs, qui ont jusqu’à présent dominé l’espace.
Emu Video : création de texte en vidéo
Emu Video adopte un processus en deux étapes pour créer des vidéos à partir de textes. Il génère d’abord une image basée sur le texte saisi, puis produit une vidéo dérivée à la fois du texte et de l’image générée. Cette approche simplifie le processus de génération de vidéos, en évitant les méthodes plus complexes et multi-modèles utilisées pour l’ancien outil Make-A-Video de Meta.
Les vidéos créées par Emu Video sont limitées à une résolution de 512×512 pixels, mais elles présentent une cohérence remarquable avec les textes guides fournis. La conversion précise du texte en récits visuels distingue Emu Video de la plupart des modèles existants et des solutions commerciales.
Bien que les modèles eux-mêmes ne soient pas accessibles au public, les utilisateurs peuvent expérimenter avec un ensemble d’invites prédéterminées, et les résultats sont assez fluides, avec des écarts minimes entre les images.
Emu Edit : édition d’images avec inpainting
A côté d’Emu Video, Meta a également présenté les capacités d’Emu Edit, un outil piloté par l’IA conçu pour effectuer diverses tâches d’édition d’images sur la base de l’interprétation par l’IA d’instructions en langage naturel. Emu Edit permet aux utilisateurs d’éditer des images avec un haut niveau de précision et de flexibilité.
« Emu Edit [est] un modèle d’édition d’images multi-tâches qui établit des résultats de pointe dans l’édition d’images basée sur des instructions », indique le document de recherche de Meta pour l’outil, soulignant sa capacité à exécuter des instructions d’édition complexes avec précision.
La précision d’Emu Edit est renforcée par l’utilisation de diffuseurs, une technologie d’IA avancée popularisée par Stable Diffusion. Cette approche garantit que les modifications conservent l’intégrité visuelle des images originales.
L’accent mis par Meta sur le développement d’outils d’IA comme Emu Video et Emu Edit incarne sa stratégie de création de technologies cruciales pour la création du Metaverse. Cela inclut le développement de Meta AI, un assistant personnel basé sur le modèle de langage LLaMA-2, et l’introduction de la multimodalité dans les dispositifs de réalité augmentée.
