Facebook-moederbedrijf Meta heeft maandag de eerste demo vrijgegeven van zijn nieuwe AI-gestuurde audio-generatorplatform, Audiobox. De sociale mediagigant zei dat Audiobox gebruikers in staat stelt om aangepaste stemmen en geluidseffecten te creëren met behulp van spraakinvoer en prompts.
Audiobox, aldus Meta, bouwt voort op de technologie die is ontwikkeld voor het eerder dit jaar geïntroduceerde Voicebox-platform, maar overtreft Voicebox in kwaliteit en bevat automatische watermerken voor “verantwoord gebruik”.
“Audiobox, de opvolger van Voicebox, brengt generatieve AI voor audio nog verder door het samenvoegen van generatie- en bewerkingsmogelijkheden voor spraak, geluidseffecten (korte, discrete geluiden zoals het blaffen van een hond, de claxon van een auto, een donderslag, etc.) en soundscapes, met een verscheidenheid aan invoermechanismen om de controleerbaarheid voor elk gebruik te maximaliseren”, aldus Meta’s Audiobox-team.
Audiobox, zo legde het team uit, maakt gebruik van “op maat gemaakte solvers”, waardoor het generatieproces naar eigen zeggen meer dan 25 keer sneller verloopt dan bij eerdere modellen zonder prestatieverlies.
In juni kondigde Meta Voicebox aan, een generatieve AI-tool die volgens Meta audio kan produceren in zes talen, waaronder Engels, Frans, Duits, Spaans, Pools en Portugees, en die dichter in de buurt komt van hoe mensen in de echte wereld natuurlijk spreken.
Vanwege de toenemende bezorgdheid over AI-gestuurde deepfakes zei Meta dat het de Voicebox niet zou vrijgeven aan het publiek, omdat het de kans op misbruik onderkende. Om misbruik met Audiobox tegen te gaan, heeft Meta een watermerk toegevoegd.
“De recente vooruitgang in kwaliteit en betrouwbaarheid van het audiogeratieve model heeft nieuwe toepassingen en gebruik van het model mogelijk gemaakt. Tegelijkertijd zijn er echter veel mensen… die zich zorgen maken over de risico’s van misbruik”, aldus het Audiobox-team in zijn rapport. “Daarom is de mogelijkheid om te herkennen welke audio gegenereerd of echt is, cruciaal om [misbruik] van de technologie te voorkomen en bepaalde [platforms] in staat te stellen aan hun beleid te voldoen.”
“Zowel het Audiobox-model als onze interactieve demo zijn voorzien van automatische audio-watermerken, zodat alle audio die is gemaakt met Audiobox nauwkeurig kan worden getraceerd naar de oorsprong”, aldus Meta. “Onze watermerkmethode sluit een signaal in de audio in dat onwaarneembaar is voor het menselijk oor, maar tot op frameniveau gedetecteerd kan worden met behulp van een model dat AI-gegenereerde segmenten in [de] audio kan vinden.”
Vanaf vandaag kun je ons nieuwe basisonderzoeksmodel voor het genereren van audio uitproberen. De demo bevat Zero shot TTS, Tekst naar geluidseffecten, Infilling en meer!
Probeer Audiobox ➡️ https://t.co/8OPcJYy8a9 pic.twitter.com/lo9rCOZMAh
– AI at Meta (@AIatMeta) December 11, 2023
“We ontwerpen op beschrijving gebaseerde en voorbeeldgebaseerde prompting om de controleerbaarheid te verbeteren en spraak- en geluidsparadigma’s te verenigen,” aldus het team. “We staan toe dat transcript, vocaal en andere geluidsstijlen onafhankelijk gecontroleerd worden bij het genereren van spraak.”
Hoewel het sneller kan, erkende Meta dat audio-generatieve AI-modellen zoals Audiobox beperkt worden door de hoeveelheid trainingsgegevens – in dit geval geluiden – die gelabeld zijn en in het AI-model worden ingevoerd.
De onderzoekers zeiden bijvoorbeeld dat het labelen van de geluiden van een chihuahua en een labrador die blaffen als het specifieke hondentype te verkiezen is boven het simpelweg labelen als “hond die blaft”. Meta zegt dat hetzelfde geldt voor spraakpatronen zoals accenten en regionale dialecten.
Een woordvoerder van Meta weigerde verder commentaar te geven.
Net als Google, Microsoft en Amazon heeft Meta veel geïnvesteerd in kunstmatige intelligentie. Eerder deze maand kondigde Meta meer dan 20 nieuwe AI-functies aan voor zijn platforms, waaronder Facebook, Instagram en WhatsApp.
Als voorstander van verantwoorde AI-ontwikkeling heeft Meta onlangs samen met IBM de AI Alliance opgericht, een consortium van meer dan 50 bedrijven, universiteiten en denktanks die zich richten op open-source AI-innovatie en -ontwikkeling.
“De AI Alliance brengt onderzoekers, ontwikkelaars en bedrijven samen om tools en kennis te delen die ons allemaal vooruit kunnen helpen, of modellen nu openlijk worden gedeeld of niet,” zei Nick Clegg, President of Global Affairs van Meta. “We kijken ernaar uit om met partners samen te werken om de state-of-the-art in AI vooruit te helpen en iedereen te helpen om verantwoord te bouwen.”
