Ne abbiamo fatta di strada da Adobe Flash e dalle cartoline animate di JibJab.
Dopo due decenni, le persone con un computer e un po’ di tempo libero possono creare animazioni di alta qualità (sia di persone reali che di illustrazioni) con pochi clic e nessuna conoscenza dell’editing digitale.
Questa è almeno l’idea di “Animate Anyone”, un modello di intelligenza artificiale introdotto dal team di ricerca di Alibaba, una multinazionale cinese specializzata in tecnologie per l’e-commerce e la vendita al dettaglio. Il video della sua tecnologia all’opera – che afferma di essere in grado di animare qualsiasi foto con notevole coerenza e controllo – ha catturato l’immaginazione di milioni di persone.
Alibaba afferma che Animate Anyone è in grado di trasformare le foto in video “come controllato dalle sequenze di pose desiderate e raggiungendo la continuità temporale”, ha spiegato la startup di avatar AI MyCompanions su Twitter. “Meno glitch e niente dita in più: una figata!”.
Il team aggiunge che questa tecnologia apre le porte a nuovi casi d’uso tra gli influencer: Vestiti generati dall’AI e creazione di un mercato per video personalizzati ma prodotti in serie.
Video brevi da una singola foto? Presto saremo in grado di farlo per tutti i nostri influencer!
In base alle ultime ricerche all’avanguardia del gruppo Alibaba, questo è quasi arrivato. Perché questa tecnologia è importante? Come possono gli influencer utilizzare al meglio questa tecnologia?
Leggi qui sotto pic.twitter.com/C4QCJCeEXP
– MyCompanions (@MyCompanionsAI) December 3, 2023
La pagina GitHub del modello è stata sommersa da richieste di accesso al codice sorgente. In risposta, il team ha rassicurato il pubblico che renderà disponibili la demo e il codice in una data ancora imprecisata.
“Grazie a tutti per l’incredibile supporto e l’interesse dimostrato nei confronti del nostro progetto”, ha dichiarato il team nell’ultimo aggiornamento del progetto su Github. “Vogliamo assicurarvi che stiamo lavorando attivamente alla preparazione della demo e del codice per il rilascio pubblico”.
La dichiarazione ha ottenuto oltre 240 like in meno di un giorno.
Se la dimostrazione video è accurata, Animate Anyone può essere utilizzato per creare risultati video chiari e temporalmente stabili, mantenendo l’aspetto del personaggio di riferimento. Questo sembra essere il risultato dell’integrazione dei modelli di diffusione in un nuovo framework chiamato ReferenceNet, in grado di unire caratteristiche dettagliate attraverso l’attenzione spaziale.
Per ottenere questo risultato, prende l’immagine di riferimento, sposta le parti per seguire la posa desiderata e poi riempie gli spazi vuoti che devono essere riempiti per dare l’illusione di un movimento coerente per ogni fotogramma del video generato. La cosiddetta sequenza openpose produce un’animazione quasi impeccabile.
Animate Anyone sta anche attirando paragoni favorevoli con altri strumenti di animazione popolari come AnimateDiff, Warpfusion, Deforum ed ebSynth. Questi strumenti esistenti spesso non riescono a generare fotogrammi coerenti, rendendo facile identificare i video come generati dall’IA. Al contrario, Animate Anyone offre un risultato più raffinato, in cui i fotogrammi sono coerenti e l’animazione è quasi indistinguibile dalla realtà.
Il team di Animate Anyone non ha risposto a una richiesta di commento da parte di TCN.
In mezzo alla frenesia, tuttavia, è emerso anche un modello simile, chiamato MagicAnimate, che si propone come solido concorrente. Recentemente reso disponibile per i test locali, MagicAnimate adotta un approccio leggermente diverso al processo di animazione. Sebbene non sia così popolare, il suo rilascio offre un’alternativa a chi desidera esplorare più a fondo il regno dell’animazione guidata dall’intelligenza artificiale.
MagicAnimate: Animazione di immagini umane temporalmente coerenti mediante modello di diffusione con demo @Gradio
demo locale: https://t.co/ScsEU6oG64
Questo articolo studia il compito di animazione di immagini umane, che mira a generare un video di una certa identità di riferimento seguendo un particolare movimento… pic.twitter.com/JCOr0yCRZs
– AK (@_akhaliq) December 4, 2023
In contrasto con Animate Anyone – che utilizza anch’esso un modello di diffusione, ma si concentra su un’animazione coerente con i fotogrammi e controllabile dalle immagini – il punto di forza di MagicAnimate è il miglioramento della coerenza temporale e della conservazione dell’identità. L’esclusivo codificatore di aspetto e la tecnica di fusione video di MagicAnimate consentono di ottenere transizioni più fluide nelle animazioni video lunghe e una migliore conservazione dei dettagli tra i fotogrammi.
Se da un lato MagicAnimate eccelle nella coerenza temporale e nella qualità per fotogramma, dall’altro non sembra essere così preciso come i suoi concorrenti.
L’ex ricercatore di Meta AI Alex Carliera ha avuto l’opportunità di testare MaticAnimate e, pur definendolo “un ottimo primo passo per la generazione di video coerenti da una singola immagine”, ha notato che le generazioni non erano accurate al 100% rispetto all’immagine di riferimento, deformando il corpo in alcuni fotogrammi.
Ho provato ControlNet per il video (MagicAnimate) ed ecco la mia opinione: funziona benissimo ma ha alcuni difetti.
– l’identità del video in movimento trapela nel video risultante (e deforma la forma del corpo)
– mani e viso non funzionano bene (non è una sorpresa!).Ma un ottimo primo passo per essere coerenti… https://t.co/zY9tZZ6MaK pic.twitter.com/J9XELE5NGT
– Alex Carlier (@alexcarliera) December 4, 2023
Quindi se non sapete ballare e vi sentite esclusi dalle ultime coreografie di TikTok, forse Animate Anyone e MagicAnimate possono essere il vostro biglietto per il successo virale.
