Meta zaprezentowała w czwartek dwa najnowsze narzędzia sztucznej inteligencji, Emu Video i Emu Edit, zapewniając pierwsze prawdziwe spojrzenie na technologię ogłoszoną na Meta Connect we wrześniu. Emu Video to narzędzie, które pozwala użytkownikom tworzyć filmy z czystych podpowiedzi tekstowych, podczas gdy Emu Edit wprowadza inne podejście do edycji obrazu, znane jako inpainting.
Dziś dzielimy się dwoma nowymi osiągnięciami w naszych badaniach nad generatywną sztuczną inteligencją: Emu Video & Emu Edit.
Szczegóły ➡️ https://t.co/qm8aejgNtd
Te nowe modele zapewniają ekscytujące wyniki w zakresie wysokiej jakości, opartego na dyfuzji generowania tekstu do wideo i kontrolowanej edycji obrazu z instrukcjami tekstowymi.
– AI at Meta (@AIatMeta) 16 listopada 2023
Wprowadzenie Emu Video i Emu Edit jest strategicznym posunięciem dla firmy Meta, która twierdzi, że nadal jest zgodna z szerszą wizją Metaverse. Firma twierdzi, że narzędzia te oferują nowe możliwości kreatywne zaprojektowane z myślą o szerokim gronie użytkowników, od profesjonalnych twórców treści po tych, którzy po prostu szukają nowych sposobów wyrażania pomysłów.
Emu Video w szczególności demonstruje zaangażowanie firmy w rozwój generowania treści opartych na sztucznej inteligencji – i może stać się głównym konkurentem dla popularnych nazw, takich jak Runway i Pika Labs, które do tej pory zdominowały przestrzeń.
Emu Video: tworzenie wideo z tekstu
Emu Video przyjmuje dwuetapowy proces tworzenia filmów z podpowiedzi tekstowych. Najpierw generuje obraz na podstawie wprowadzonego tekstu, a następnie tworzy wideo pochodzące zarówno z tekstu, jak i wygenerowanego obrazu. Takie podejście upraszcza proces generowania wideo, unikając bardziej złożonych, wielomodelowych metod używanych do zasilania poprzedniego narzędzia Make-A-Video firmy Meta.
Filmy tworzone przez Emu Video są ograniczone do rozdzielczości 512×512 pikseli, ale wykazują niezwykłą spójność z dostarczonymi podpowiedziami tekstowymi. Dokładne przekształcanie tekstu w wizualne narracje odróżnia Emu Video od większości istniejących modeli i rozwiązań komercyjnych.
Chociaż same modele nie są publicznie dostępne, użytkownicy mogą eksperymentować z zestawem z góry określonych podpowiedzi, a wyniki są dość płynne, z minimalnymi rozbieżnościami między klatkami.
Emu Edit: edycja obrazu z malowaniem
Alongside Emu Video, Meta zaprezentowała również możliwości Emu Edit, narzędzia opartego na sztucznej inteligencji, zaprojektowanego do wykonywania różnych zadań edycji obrazu w oparciu o interpretację instrukcji języka naturalnego przez sztuczną inteligencję. Emu Edit pozwala użytkownikom edytować obrazy z wysokim poziomem precyzji i elastyczności.
„Emu Edit [to] wielozadaniowy model edycji obrazu, który wyznacza najnowocześniejsze wyniki w edycji obrazu opartej na instrukcjach” – czytamy w dokumencie badawczym narzędzia Meta, podkreślając jego zdolność do dokładnego wykonywania złożonych instrukcji edycji.
Precyzja
Emu Edit jest zwiększona dzięki zastosowaniu dyfuzorów, zaawansowanej technologii AI spopularyzowanej przez Stable Diffusion. Takie podejście zapewnia, że edycje zachowują wizualną integralność oryginalnych obrazów.
Koncentracja firmy Meta na opracowywaniu narzędzi AI, takich jak Emu Video i Emu Edit, jest ucieleśnieniem jej strategii tworzenia technologii kluczowych dla tworzenia Metaverse. Obejmuje to rozwój Meta AI, osobistego asystenta opartego na dużym modelu językowym LLaMA-2 oraz wprowadzenie multimodalności w urządzeniach AR.
