Изминахме дълъг път от Adobe Flash и анимираните електронни картички JibJab.
След две десетилетия хората с компютри и малко свободно време могат да създават висококачествени анимации (както на реални хора, така и на илюстрации) само с няколко кликвания и нулеви познания за цифрово редактиране.
Това е поне идеята на „Animate Anyone“, модел на изкуствен интелект, представен от изследователския екип по изкуствен интелект на Alibaba, китайска мултинационална технологична компания, специализирана в технологиите за електронна търговия и търговия на дребно. Видеоклип с работата на технологията, която твърди, че може да анимира всяка снимка със забележителна последователност и контрол, завладя въображението на милиони.
Alibaba твърди, че Animate Anyone може да трансформира снимки във видеоклипове „контролирани от желаните последователности от пози и постигане на времева приемственост“, обясни стартъпът за аватари с изкуствен интелект MyCompanions в Twitter. „По-малко гличове и без допълнителни пръсти – доста яко!“
Екипът добавя, че тази технология отваря врати за нови случаи на използване сред влиятелните личности: ИИ генерирани дрехи и създаване на пазар за масово произвеждани, но персонализирани видеоклипове.
Кратки видеоклипове от една снимка? Скоро ще можем да направим това за всички наши инфлуенсъри!
Въз основа на най-новите авангардни изследвания на групата Alibaba това е почти тук. Защо тази технология е важна? Как инфлуенсърите могат най-добре да използват тази технология?
Темата по-долу pic.twitter.com/C4QCJCeEXP
– MyCompanions (@MyCompanionsAI) 3 декември 2023 г.
Страницата на модела в GitHub беше затрупана с искания за достъп до изходния код. В отговор екипът увери обществеността, че ще предостави демо версията и кода на все още неуточнена дата.
„Благодарим на всички за невероятната подкрепа и интереса към нашия проект“, заяви екипът в последната актуализация на проекта в Github. „Искаме да ви уверим, че работим активно по подготовката на демото и кода за публично пускане.“
Изявлението събра над 240 харесвания за по-малко от един ден.
Ако видеодемонстрацията е точна, Animate Anyone може да се използва за създаване на ясни, стабилни във времето видеорезултати, като същевременно се запазва външният вид на референтния герой. Това изглежда е резултат от интегрирането на дифузионни модели в нова рамка, наречена ReferenceNet, която може да обединява подробни характеристики чрез пространствено внимание.
За да постигне това, тя взема референтното изображение, премества частите, за да следват желаната поза, и след това запълва пропуските, които трябва да бъдат запълнени, за да се създаде илюзия за последователно движение за всеки кадър от генерираното видео. Така наречената openpose последователност води до почти безупречна анимация.
Animate Anyone също така предизвиква благоприятни сравнения с други популярни инструменти за анимация като AnimateDiff, Warpfusion, Deforum и ebSynth. Тези съществуващи инструменти често не успяват да генерират последователни кадри, което улеснява идентифицирането на видеоклиповете като генерирани от изкуствен интелект. За разлика от тях Animate Anyone дава по-прецизни резултати, при които кадрите са последователни и анимацията е почти неразличима от реалността.
Екипът на Animate Anyone не е отговорил на искането за коментар от TCN.
Посред треската обаче подобен модел на име MagicAnimate също се появи като солиден конкурент. Наскоро предоставен за местно тестване, MagicAnimate прилага малко по-различен подход към процеса на анимация. Макар и не толкова популярен, той предлага алтернатива за тези, които желаят да изследват по-пълноценно сферата на анимацията, управлявана от изкуствен интелект.
MagicAnimate: Времево последователна анимация на човешки изображения с помощта на дифузионен модел с @Gradio демо
местна демонстрация: https://t.co/ScsEU6oG64
В тази статия се изследва задачата за анимация на човешко изображение, която има за цел да генерира видео на определена референтна идентичност, следваща определено движение… pic.twitter.com/JCOr0yCRZs
– AK (@_akhaliq) December 4, 2023
За разлика от Animate Anyone – който също използва дифузионен модел, но с фокус върху последователна и контролируема анимация от изображения – отличителната черта на MagicAnimate е подобряването на времевата последователност и запазването на идентичността. Съобщава се, че неговият уникален енкодер на външния вид и техниката за сливане на видео водят до по-плавни преходи в дълги видеоанимации и по-добро запазване на детайлите в отделните кадри.
Въпреки че MagicAnimate се отличава с времева съгласуваност и качество на всеки кадър, изглежда обаче, че той не е толкова точен, колкото конкурента си.
Бившият изследовател на Meta AI Алекс Карлиера е имал възможност да тества MaticAnimate и макар да го нарече „чудесна първа стъпка за последователно генериране на видео от едно изображение“, той отбеляза, че генерирането не е 100% точно спрямо референтното изображение, като в някои кадри тялото се деформира.
Изпробвах ControlNet за видео (MagicAnimate) и ето моето мнение: работи чудесно, но има някои недостатъци.
– идентичността на видеото за движение изтича към полученото видео (и деформира формата на тялото)
– лоши ръце и лице (изненадващо!)Но е чудесна първа стъпка за последователност… https://t.co/zY9tZZ6MaK pic.twitter.com/J9XELE5NGT
– Alex Carlier (@alexcarliera) December 4, 2023
Така че ако не можете да танцувате и се чувствате изоставени от най-новата хореография на TikTok, може би Animate Anyone и MagicAnimate могат да бъдат вашият билет за вирусен успех.
