Meta mostró el jueves un adelanto de sus dos nuevas herramientas de IA, Emu Video y Emu Edit, proporcionando el primer vistazo real a la tecnología anunciada en Meta Connect en septiembre. Emu Video es una herramienta que permite a los usuarios crear vídeos a partir de mensajes de texto, mientras que Emu Edit introduce un enfoque diferente para la edición de imágenes conocido como inpainting.
Hoy compartimos dos nuevos avances en nuestra investigación sobre IA generativa: Emu Video y Emu Edit.
Detalles ➡️ https://t.co/qm8aejgNtd
Estos nuevos modelos ofrecen resultados emocionantes en la generación de texto a vídeo de alta calidad basada en la difusión & edición controlada de imágenes w / instrucciones de texto.
– AI at Meta (@AIatMeta) 16 de noviembre de 2023
La introducción de Emu Video y Emu Edit es un movimiento estratégico para Meta, que dice seguir alineado con su visión más amplia del Metaverso. La empresa afirma que estas herramientas ofrecen nuevas capacidades creativas diseñadas para atraer a un amplio abanico de usuarios, desde creadores profesionales de contenidos hasta aquellos que simplemente buscan formas novedosas de expresar sus ideas.
Emu Video, en particular, demuestra el compromiso de la empresa con el avance de la generación de contenidos impulsada por inteligencia artificial, y podría convertirse en un importante competidor frente a nombres populares como Runway y Pika Labs, que hasta ahora han dominado el espacio.
Emu Video: creación de texto a vídeo
Emu Video adopta un proceso de dos pasos para crear vídeos a partir de mensajes de texto. Primero genera una imagen basada en el texto introducido y, a continuación, produce un vídeo derivado tanto del texto como de la imagen generada. Este enfoque simplifica el proceso de generación de vídeo, evitando los métodos más complejos y multimodelo utilizados para impulsar la anterior herramienta Make-A-Video de Meta.
Los vídeos creados por Emu Video están limitados a una resolución de 512×512 píxeles, pero muestran una notable coherencia con las indicaciones de texto proporcionadas. La conversión precisa del texto en narraciones visuales distingue a Emu Video de la mayoría de los modelos y soluciones comerciales existentes.
Aunque los propios modelos no están a disposición del público, los usuarios pueden experimentar con un conjunto de indicaciones predeterminadas, y los resultados son bastante fluidos, con discrepancias mínimas entre fotogramas.
Emu Edit: edición de imágenes con inpainting
Además de Emu Video, Meta también mostró las capacidades de Emu Edit, una herramienta basada en IA diseñada para realizar diversas tareas de edición de imágenes a partir de la interpretación de instrucciones en lenguaje natural. Emu Edit permite a los usuarios editar imágenes con gran precisión y flexibilidad.
«Emu Edit [es] un modelo de edición de imágenes multitarea que establece los resultados más avanzados en edición de imágenes basada en instrucciones», dice el documento de investigación de Meta sobre la herramienta, subrayando su capacidad para ejecutar instrucciones de edición complejas con precisión.
La precisión de Emu Edit se ve reforzada por el uso de difusores, una avanzada tecnología de IA popularizada por Stable Diffusion. Este enfoque garantiza que las ediciones mantengan la integridad visual de las imágenes originales.
La apuesta de Meta por el desarrollo de herramientas de IA como Emu Video y Emu Edit encarna su estrategia de crear tecnologías cruciales para la creación del Metaverso. Esto incluye el desarrollo de Meta AI, un asistente personal impulsado por el gran modelo de lenguaje LLaMA-2, y la introducción de la multimodalidad en los dispositivos de RA.
