В то время как многие компании, работающие с искусственным интеллектом, пытаются найти способы использования технологии для улучшения или даже создания видео, Resemble AI сосредоточился на точности воспроизведения звука. Стартап, который также предлагает генератор искусственного интеллекта для создания реалистичных человекоподобных голосов, запустил «Resemble Enhance», инструмент с открытым исходным кодом, предназначенный для значительного улучшения качества исторических аудиозаписей.
Новый сервис может взять искаженную, нечеткую запись давно утерянной исторической речи, а затем применить искусственный интеллект, чтобы она звучала так, как будто была записана или передана вчера.
По словам канадской компании, Resemble Enhance отличается двухмодульным подходом, сочетающим сложный денуайзер, который удаляет статические фоновые шумы и шипение, и улучшающий речь искусственный интеллект. Такая комбинация не только удаляет нежелательные шумы, но и улучшает общее качество звука.
️Today, мы представляем Resemble Enhance — нашу последнюю модель с искусственным интеллектом! Enhance — это модель улучшения речи с открытым исходным кодом, которая преобразует шумный звук в достойную внимания речь!
Читайте технический блог: https://t.co/RCp4xi4GqRAIVOICE podcasting audioengineer pic. twitter.com/kfdGmKlSgB
— Resemble AI (@resembleai) December 14, 2023
Несмотря на то, что на рынке существуют и другие продукты для реставрации аудио, комбинация методов Resemble может стать значимым отличительным фактором
Как это работает?
Искусственный денуайзер Resemble использует UNet — модель искусственного интеллекта, которая помогает разделить различные типы звуков, появляющихся в записи. Она отлично справляется с фильтрацией нежелательных шумов из аудиодорожек, оставляя в центре внимания только речь.
Как только UNet выполняет свою работу, в дело вступает модуль улучшайзера, расширяющий полосу пропускания аудио и исправляющий искажения. Эта двойная функциональность, по словам компании, гарантирует, что конечный результат будет не только чистым от шумов, но и будет обладать богатством современных записей.
Являясь инструментом с открытым исходным кодом, Resemble Enhance доступен бесплатно, что является привлекательным вариантом на традиционно дорогом рынке услуг по восстановлению медиафайлов. Основными бенефициарами Resemble Enhance являются отрасли, зависящие от чистого качества звука, такие как подкастинг, развлечения и образование. Кроме того, этот инструмент дает новую жизнь историческим записям, потенциально позволяя получить более четкое представление о прошлом.
Выпуск этого инструмента пришелся на момент, когда спрос на высококачественный цифровой контент достиг своего апогея. Между тем, открытый исходный код Resemble Enhance позиционирует его как потенциально разрушительную силу на рынке, где в настоящее время доминируют дорогостоящие проприетарные решения.
Слияние искусственного интеллекта в улучшении аудио и видео, вероятно, проложит путь к созданию более комплексных решений для восстановления мультимедиа.
Комбинируя этот инструмент с другими программами для улучшения видео, использующими генеративный ИИ или другие модели для увеличения масштаба и улучшения изображений и лиц, такими как GPEN или хорошо известный GFPGan, пользователи теперь могут добиться профессиональных результатов на своих собственных компьютерах при минимальных инвестициях.
Чтобы поэкспериментировать с Resemble Enhance, пользователи могут посетить официальный сайт Resemble AI или загрузить свои модели с официальной страницы проекта на Github.
