Meta toonde donderdag een voorproefje van zijn twee nieuwste AI-tools, Emu Video en Emu Edit, en gaf daarmee de eerste echte blik op de technologie die in september op Meta Connect werd aangekondigd. Emu Video is een tool waarmee gebruikers video’s kunnen maken van pure tekstaanwijzingen, terwijl Emu Edit een andere benadering van beeldbewerking introduceert, bekend als inpainting.
Vandaag delen we twee nieuwe ontwikkelingen in ons generatieve AI-onderzoek: Emu Video & Emu Edit.
Details ➡️ https://t.co/qm8aejgNtd
Deze nieuwe modellen leveren opwindende resultaten op het gebied van hoogwaardige, op diffusie gebaseerde tekst-naar-video generatie en gecontroleerde beeldbewerking met tekstinstructies.
– AI at Meta (@AIatMeta) November 16, 2023
De introductie van Emu Video en Emu Edit is een strategische zet van Meta, die naar eigen zeggen nog steeds in lijn is met de bredere visie voor de Metaverse. Het bedrijf zegt dat deze tools nieuwe creatieve mogelijkheden bieden die zijn ontworpen om een breed scala aan gebruikers aan te spreken, van professionele content creators tot mensen die gewoon op zoek zijn naar nieuwe manieren om ideeën uit te drukken.
Emu Video in het bijzonder demonstreert de toewijding van het bedrijf aan het bevorderen van AI-gedreven content generatie-en zou een belangrijke concurrent kunnen worden van populaire namen zoals Runway en Pika Labs, die tot nu toe de ruimte hebben gedomineerd.
Emu Video: tekst-naar-video creatie
Emu Video maakt in twee stappen video’s van tekstaanwijzingen. Het genereert eerst een afbeelding op basis van de ingevoerde tekst en produceert dan een video op basis van zowel de tekst als de gegenereerde afbeelding. Deze aanpak vereenvoudigt het videoproductieproces en vermijdt de complexere methoden met meerdere modellen die werden gebruikt voor Meta’s vorige Make-A-Video tool.
De video’s gemaakt door Emu Video zijn beperkt tot een resolutie van 512 x 512 pixels, maar vertonen een opmerkelijke samenhang met de verstrekte tekstaanwijzingen. Het nauwkeurig omzetten van tekst in visuele verhalen onderscheidt Emu Video van de meeste bestaande modellen en commerciële oplossingen.
Hoewel de modellen zelf niet publiek beschikbaar zijn, kunnen gebruikers experimenteren met een set vooraf bepaalde aanwijzingen, en de resultaten zijn behoorlijk vloeiend, met minimale verschillen tussen frames.
Emu Edit: beeldbewerking met inpainting
Naast Emu Video toonde Meta ook de mogelijkheden van Emu Edit, een AI-gestuurde tool die is ontworpen om verschillende beeldbewerkingstaken uit te voeren op basis van AI’s interpretatie van instructies in natuurlijke taal. Met Emu Edit kunnen gebruikers afbeeldingen bewerken met een hoge mate van precisie en flexibiliteit.
“Emu Edit [is] een multi-task beeldbewerkingsmodel dat state-of-the-art resultaten neerzet op het gebied van instructiegebaseerde beeldbewerking,” aldus Meta’s onderzoekspaper voor de tool, waarin het vermogen om complexe bewerkingsinstructies nauwkeurig uit te voeren wordt onderstreept.
