Podczas gdy wiele firm zajmujących się sztuczną inteligencją stara się znaleźć sposoby na wykorzystanie tej technologii do ulepszania lub nawet tworzenia wideo, Resemble AI koncentruje się na wierności dźwięku. Startup – który oferuje również generator głosu AI dla firm do tworzenia realistycznych, ludzkich lektorów – uruchomił „Resemble Enhance”, narzędzie typu open source zaprojektowane w celu znacznego podniesienia jakości historycznego dźwięku.
Nowa usługa może pobrać zniekształcone, rozmyte nagranie dawno zaginionej historycznej mowy, a następnie zastosować sztuczną inteligencję, aby brzmiała tak, jakby została nagrana lub nadana wczoraj.
Kanadyjska firma twierdzi, że Resemble Enhance wyróżnia się dwumodułowym podejściem, łączącym zaawansowany denoiser – który usuwa statyczne szumy i syczenie w tle – oraz wzmacniacz mowy oparty na sztucznej inteligencji. Ta kombinacja nie tylko usuwa niepożądane szumy, ale także wzbogaca ogólną jakość dźwięku.
️Today, przedstawiamy Resemble Enhance – nasz najnowszy model napędzany sztuczną inteligencją! Enhance to model poprawy mowy o otwartym kodzie źródłowym, który przekształca zaszumiony dźwięk w godną uwagi mowę!
Przeczytaj blog techniczny: https://t.co/RCp4xi4GqRAIVOICE podcasting audioengineer pic. twitter.com/kfdGmKlSgB
– Resemble AI (@resembleai) December 14, 2023
Nawet jeśli na rynku istnieją inne produkty do przywracania dźwięku, połączenie technik Resemble może być znaczącym wyróżnikiem.
Jak to działa?
Resemble AI denoiser wykorzystuje UNet, model sztucznej inteligencji, który pomaga oddzielić różne rodzaje dźwięków pojawiających się na nagraniu. Doskonale radzi sobie z odfiltrowywaniem niepożądanych szumów ze ścieżek audio, pozostawiając w centrum uwagi tylko mowę.
Gdy UNet wykona swoją pracę, włącza się moduł wzmacniacza, rozszerzając pasmo audio i korygując zniekształcenia. Ta podwójna funkcjonalność, jak twierdzi firma, zapewnia, że końcowe wyjście jest nie tylko wolne od szumów, ale także posiada bogactwo współczesnych nagrań.
Jako narzędzie typu open-source, Resemble Enhance jest dostępne za darmo, co jest atrakcyjną opcją na tradycyjnie drogim rynku usług przywracania mediów. Głównymi beneficjentami Resemble Enhance są branże zależne od czystej jakości dźwięku, takie jak podcasting, rozrywka i edukacja. Dodatkowo, narzędzie to oferuje nowe życie historycznym nagraniom, potencjalnie zapewniając jaśniejszy wgląd w przeszłość.
Publikacja narzędzia ma miejsce w momencie, gdy popyt na wysokiej jakości treści cyfrowe jest najwyższy w historii. Tymczasem otwarty charakter Resemble Enhance pozycjonuje go jako potencjalnie przełomową siłę na rynku obecnie zdominowanym przez drogie, autorskie rozwiązania.
Konwergencja sztucznej inteligencji w ulepszaniu audio i wideo prawdopodobnie utoruje drogę do bardziej kompleksowych rozwiązań w zakresie przywracania mediów.
Łącząc to narzędzie z innymi ulepszaczami wideo, które wykorzystują generatywną sztuczną inteligencję lub inne modele do skalowania i ulepszania obrazów i twarzy – takimi jak GPEN lub dobrze znany GFPGan – użytkownicy mogą teraz osiągnąć profesjonalne wyniki na własnych komputerach przy minimalnej inwestycji.
Aby poeksperymentować z Resemble Enhance, użytkownicy mogą odwiedzić oficjalną stronę internetową Resemble AI lub pobrać swoje modele z oficjalnej strony Github projektu.
