В понедельник материнская компания Facebook Meta выпустила первую демонстрацию своей новой платформы Audiobox, работающей на основе искусственного интеллекта. По словам гиганта социальных сетей, Audiobox позволяет пользователям создавать пользовательские голоса и звуковые эффекты с помощью голосового ввода и подсказок.
Audiobox, по словам Meta, основывается на технологии, разработанной для платформы Voicebox, представленной ранее в этом году, но превосходит Voicebox по качеству и включает автоматическое нанесение водяных знаков для «ответственного использования».
«Audiobox, преемник Voicebox, продвигает генеративный ИИ для аудио еще дальше, объединяя возможности генерации и редактирования речи, звуковых эффектов (коротких, дискретных звуков, таких как лай собаки, гудок автомобиля, раскаты грома и т. д.) и звуковых ландшафтов, с различными механизмами ввода, чтобы максимизировать управляемость для каждого случая использования», — заявила команда Audiobox компании Meta.
Audiobox, по словам команды, использует «индивидуальные решатели», что, по их утверждению, делает процесс генерации более чем в 25 раз быстрее, чем предыдущие модели, без потери производительности.
В июне компания Meta анонсировала Voicebox, генеративный ИИ-инструмент, который, по словам Meta, может создавать аудио на шести языках, включая английский, французский, немецкий, испанский, польский и португальский, и приближен к тому, как люди говорят естественно в реальном мире.
Учитывая опасения по поводу глубоких подделок с помощью ИИ, Meta заявила, что не будет выпускать Voicebox в открытый доступ, признавая возможность злоупотреблений. Для борьбы со злоупотреблениями в Audiobox Meta включила водяные знаки.
«Недавний прогресс в качестве и точности генеративной модели аудио позволил создать новые приложения и варианты использования этой модели. Однако в то же время многие люди… высказывают опасения по поводу риска неправомерного использования», — говорится в отчете команды Audiobox. «Поэтому способность распознавать, какое аудио является сгенерированным, а какое реальным, имеет решающее значение для предотвращения [злоупотребления] технологией и позволяет определенным [платформам] соблюдать свою политику».
«Как модель Audiobox, так и наша интерактивная демонстрация оснащены автоматическим водяным знаком, поэтому любое аудио, созданное с помощью Audiobox, можно точно отследить по его происхождению», — говорит Мета. «Наш метод водяного знака встраивает в аудио сигнал, который незаметен для человеческого уха, но может быть обнаружен вплоть до уровня кадра с помощью модели, способной находить в аудио сегменты, созданные искусственным интеллектом. «
Начиная с сегодняшнего дня вы можете попробовать нашу новую исследовательскую модель для генерации звука. Демо-версия включает в себя Zero shot TTS, эффекты преобразования текста в звук, инфиллинг и многое другое!
Попробуйте Audiobox ➡️ https://t.co/8OPcJYy8a9 pic.twitter.com/lo9rCOZMAh
— AI at Meta (@AIatMeta) December 11, 2023
«Мы разрабатываем подсказки на основе описания и примера, чтобы повысить управляемость и унифицировать парадигмы генерации речи и звука», — говорит команда. «Мы позволяем независимо управлять транскрипцией, вокалом и другими звуковыми стилями при генерации речи».
Хотя это может быть быстрее, Мета признала, что аудиогенерирующие модели ИИ, такие как Audiobox, ограничены количеством обучающих данных — в данном случае, звуков — помеченных и поданных в модель ИИ, что подчеркивает важность правильной маркировки данных.
Например, по словам исследователей, обозначение звуков лая чихуахуа и лабрадора как конкретного вида собак предпочтительнее, чем просто обозначение «собачий лай». Meta утверждает, что то же самое относится и к речевым шаблонам, таким как акценты и региональные диалекты.
Представитель Meta отказался от дальнейших комментариев.
Как и Google, Microsoft и Amazon, Meta инвестирует значительные средства в искусственный интеллект. Ранее в этом месяце Meta объявила о появлении более 20 новых функций, основанных на искусственном интеллекте, в своем наборе платформ, включая Facebook, Instagram и WhatsApp.
Будучи сторонником ответственного подхода к разработке искусственного интеллекта, Meta недавно в партнерстве с IBM запустила AI Alliance — консорциум из более чем 50 компаний, университетов и аналитических центров, ориентированных на инновации и разработку искусственного интеллекта с открытым исходным кодом.
«AI Alliance объединяет исследователей, разработчиков и компании для обмена инструментами и знаниями, которые могут помочь всем нам добиться прогресса независимо от того, открыто или нет распространяются модели», — сказал президент по глобальным вопросам Meta Ник Клегг. «Мы с нетерпением ждем совместной работы с партнерами, чтобы продвигать передовые достижения в области ИИ и помогать всем строить ответственно. «
