Meta в четверг продемонстрировала два своих новейших инструмента искусственного интеллекта, Emu Video и Emu Edit, впервые реально взглянув на технологию, анонсированную на выставке Meta Connect в сентябре. Emu Video — это инструмент, позволяющий пользователям создавать видео из чисто текстовых подсказок, а Emu Edit представляет другой подход к редактированию изображений, известный как inpainting.
Сегодня мы рассказываем о двух новых достижениях в области генеративного ИИ: Emu Video & Emu Edit.
Подробности ➡️ https://t.co/qm8aejgNtd
Эти новые модели дают потрясающие результаты в области высококачественной генерации текста в видео на основе диффузии и контролируемого редактирования изображений с помощью текстовых инструкций.
— AI at Meta (@AIatMeta) November 16, 2023
Выпуск Emu Video и Emu Edit — это стратегический шаг Meta, который, по словам компании, соответствует ее более широкому видению Metaverse. По словам компании, эти инструменты предлагают новые творческие возможности, рассчитанные на широкий круг пользователей, от профессиональных создателей контента до тех, кто просто ищет новые способы выражения идей.
Emu Video, в частности, демонстрирует стремление компании к продвижению создания контента на основе искусственного интеллекта и может стать серьезным конкурентом таким популярным именам, как Runway и Pika Labs, которые до сих пор доминировали в этом пространстве.
Emu Video: создание видео из текста
Emu Video использует двухэтапный процесс создания видео из текстовых подсказок. Сначала генерируется изображение на основе введенного текста, а затем создается видеоролик на основе текста и сгенерированного изображения. Такой подход упрощает процесс создания видео, позволяя отказаться от более сложных, многомодельных методов, использовавшихся в предыдущем инструменте Meta Make-A-Video.
Видеоролики, созданные Emu Video, ограничены разрешением 512×512 пикселей, но демонстрируют удивительную согласованность с предоставленными текстовыми подсказками. Точное преобразование текста в визуальный рассказ отличает Emu Video от большинства существующих моделей и коммерческих решений.
Несмотря на то, что сами модели не находятся в открытом доступе, пользователи могут экспериментировать с набором заранее заданных подсказок, и результаты получаются довольно гладкими, с минимальными расхождениями между кадрами.
Emu Edit: редактирование изображений с помощью инпайнтинга
Наряду с Emu Video, Meta также продемонстрировала возможности Emu Edit, инструмента, управляемого искусственным интеллектом и предназначенного для выполнения различных задач по редактированию изображений на основе интерпретации искусственным интеллектом инструкций на естественном языке. Emu Edit позволяет пользователям редактировать изображения с высокой точностью и гибкостью.
«Emu Edit — это многозадачная модель редактирования изображений, которая устанавливает передовые результаты в редактировании изображений на основе инструкций», — говорится в исследовательском документе Meta, посвященном этому инструменту, подчеркивая его способность точно выполнять сложные инструкции по редактированию.
Точность работы Emu Edit повышается благодаря использованию диффузоров — передовой технологии искусственного интеллекта, получившей распространение благодаря Stable Diffusion. Такой подход гарантирует, что редактирование сохранит визуальную целостность исходных изображений.
Фокус Meta на разработке инструментов искусственного интеллекта, таких как Emu Video и Emu Edit, воплощает стратегию создания технологий, имеющих решающее значение для создания Metaverse. Это включает в себя разработку Meta AI, персонального помощника на основе большой языковой модели LLaMA-2, и внедрение мультимодальности в AR-устройства.
