We hebben een lange weg afgelegd sinds Adobe Flash en geanimeerde JibJab e-cards.
Nu, twintig jaar later, kunnen mensen met een computer en een beetje vrije tijd animaties van hoge kwaliteit maken (van zowel echte mensen als illustraties) met slechts een paar klikken en zonder kennis van digitale bewerking.
Dat is tenminste het verhaal van “Animate Anyone”, een AI-model geïntroduceerd door het AI-onderzoeksteam van Alibaba, een Chinese multinational gespecialiseerd in e-commerce en retailtechnologie. Video’s van de werkende technologie – die beweert in staat te zijn om elke foto met opmerkelijke consistentie en controle te animeren – spreken tot de verbeelding van miljoenen mensen.
Alibaba zegt dat Animate Anyone foto’s kan transformeren in video’s “zoals gecontroleerd door de gewenste posequenties en het bereiken van temporele continuïteit,” legt AI avatar startup MyCompanions uit op Twitter. “Minder glitches en geen extra vingers – erg cool!”
Het team voegt eraan toe dat deze technologie deuren opent voor nieuwe use cases onder influencers: AI-gegenereerde kleding en het creëren van een markt voor in massa geproduceerde maar gepersonaliseerde video’s.
Korte video’s van één foto? Binnenkort kunnen we dit doen voor al onze influencers!
Gebaseerd op het laatste geavanceerde onderzoek van de Alibaba groep, is het bijna zover. Waarom is deze technologie belangrijk? Hoe kunnen influencers deze technologie het beste gebruiken?
Thread hieronder pic.twitter.com/C4QCJCeEXP
– MyCompanions (@MyCompanionsAI) December 3, 2023
De GitHub-pagina van het model werd overspoeld met verzoeken om toegang tot de broncode. In reactie hierop heeft het team het publiek gerustgesteld dat het de demo en code op een nog niet gespecificeerde datum beschikbaar zal stellen.
“Bedankt voor jullie ongelofelijke steun en interesse in ons project”, aldus het team in de laatste Github-update van het project. “We willen jullie verzekeren dat we actief bezig zijn met het voorbereiden van de demo en code voor publieke release.”
De verklaring kreeg meer dan 240 likes in minder dan een dag.
Als de videodemonstratie accuraat is, kan Animate Anyone worden gebruikt om duidelijke, tijdelijk stabiele videoresultaten te maken met behoud van het uiterlijk van het referentiepersonage. Dit lijkt het resultaat te zijn van de integratie van diffusiemodellen in een nieuw raamwerk genaamd ReferenceNet, dat gedetailleerde kenmerken kan samenvoegen via ruimtelijke aandacht.
Om dit te bereiken, neemt het de referentieafbeelding, beweegt de delen om de gewenste pose te volgen en vult vervolgens de gaten op die moeten worden opgevuld om de illusie van consistente beweging te geven voor elk frame van de gegenereerde video. De zogenaamde openpose-sequentie resulteert in een bijna vlekkeloze animatie.
Animate Anyone trekt ook gunstige vergelijkingen met andere populaire animatietools zoals AnimateDiff, Warpfusion, Deforum en ebSynth. Deze bestaande tools schieten vaak tekort in het genereren van consistente frames, waardoor video’s gemakkelijk kunnen worden geïdentificeerd als AI-gegenereerd. Animate Anyone daarentegen heeft een meer verfijnde output, waarbij de frames consistent zijn en de animatie bijna niet van echt te onderscheiden is.
Het Animate Anyone team heeft niet gereageerd op een verzoek om commentaar van TCN.
Te midden van alle hectiek is er echter ook een soortgelijk model genaamd MagicAnimate opgedoken als solide concurrent. MagicAnimate is onlangs beschikbaar gemaakt om lokaal te testen en benadert het animatieproces op een iets andere manier. Hoewel het niet zo populair is, biedt het een alternatief voor degenen die het domein van AI-gestuurde animatie beter willen verkennen.
Magisch animeren: Temporally Consistent Human Image Animation using Diffusion Model met @Gradio demo
lokale demo: https://t.co/ScsEU6oG64
Dit artikel bestudeert de menselijke beeldanimatietaak, die tot doel heeft een video te genereren van een bepaalde referentie-identiteit die een bepaalde beweging volgt… pic.twitter.com/JCOr0yCRZs
– AK (@_akhaliq) December 4, 2023
In tegenstelling tot Animate Anyone, dat ook een diffusiemodel gebruikt maar zich richt op frame-consistente en controleerbare animatie van beelden, is het onderscheidende kenmerk van MagicAnimate het verbeteren van temporele consistentie en identiteitsbehoud. De unieke appearance encoder en videofusietechniek leiden naar verluidt tot vloeiendere overgangen in lange videoanimaties en beter behoud van details tussen frames.
Hoewel MagicAnimate uitblinkt in temporele coherentie en kwaliteit per frame, lijkt het echter niet zo nauwkeurig te zijn als zijn concurrent.
Voormalig Meta AI-onderzoeker Alex Carliera kreeg de kans om MaticAnimate te testen, en hoewel hij het “een geweldige eerste stap voor consistente video generatie vanuit een enkele afbeelding” noemde, merkte hij op dat de generaties niet 100% nauwkeurig waren ten opzichte van de referentieafbeelding, waardoor het lichaam in sommige frames vervormde.
Ik heb het ControlNet voor video (MagicAnimate) getest en dit is mijn mening: het werkt geweldig, maar heeft een paar gebreken.
– de identiteit van de motion video lekt naar de resulterende video (en vervormt de lichaamsvorm)
– slechte handen en gezicht (niet verrassend!)Maar een geweldige eerste stap voor consequent… https://t.co/zY9tZZ6MaK pic.twitter.com/J9XELE5NGT
– Alex Carlier (@alexcarliera) December 4, 2023
Dus als je niet kunt dansen en je buitengesloten voelt van de nieuwste TikTok-choreografie, zijn Animate Anyone en MagicAnimate misschien jouw ticket naar viraal succes.
