Meta, società madre di Facebook, ha pubblicato lunedì la prima demo della sua nuova piattaforma di generazione audio alimentata dall’intelligenza artificiale, Audiobox. Il gigante dei social media ha dichiarato che Audiobox consente agli utenti di creare voci ed effetti sonori personalizzati utilizzando input e prompt vocali.
Audiobox, ha dichiarato Meta, si basa sulla tecnologia sviluppata per la sua piattaforma Voicebox introdotta all’inizio di quest’anno, ma supera Voicebox in termini di qualità e include il watermarking automatico per un “uso responsabile”.
“Audiobox, il successore di Voicebox, fa progredire ulteriormente l’intelligenza artificiale generativa per l’audio, unificando le capacità di generazione e modifica del parlato, degli effetti sonori (suoni brevi e discreti come l’abbaiare di un cane, il clacson di un’auto, un tuono, ecc.
Audiobox, ha spiegato il team, utilizza “risolutori su misura”, che secondo loro rendono il processo di generazione più veloce di 25 volte rispetto ai modelli precedenti, senza perdita di prestazioni.
A giugno Meta ha annunciato Voicebox, uno strumento di IA generativa che Meta ha dichiarato essere in grado di produrre audio in sei lingue, tra cui inglese, francese, tedesco, spagnolo, polacco e portoghese, avvicinandosi al modo in cui le persone parlano naturalmente nel mondo reale.
Con le preoccupazioni per i deepfakes alimentati dall’intelligenza artificiale, Meta ha dichiarato che non avrebbe rilasciato Voicebox al pubblico, riconoscendo il potenziale di uso improprio. Per combattere gli abusi con Audiobox, Meta ha incluso il watermarking.
“I recenti progressi in termini di qualità e fedeltà del modello generativo audio hanno consentito nuove applicazioni e casi d’uso del modello. Tuttavia, allo stesso tempo, molte persone… si preoccupano dei rischi di un uso improprio”, ha dichiarato il team di Audiobox nel suo rapporto. “Pertanto, la capacità di riconoscere quale audio è generato o reale è fondamentale per prevenire l’uso improprio della tecnologia e per consentire ad alcune piattaforme di rispettare la loro politica.”
“Sia il modello Audiobox che la nostra demo interattiva sono dotati di watermarking audio automatico, in modo che qualsiasi audio creato con Audiobox possa essere accuratamente rintracciato all’origine”, ha dichiarato Meta. “Il nostro metodo di watermarking incorpora un segnale nell’audio che è impercettibile all’orecchio umano, ma può essere rilevato fino al livello del fotogramma utilizzando un modello in grado di trovare segmenti generati dall’intelligenza artificiale nell’audio. “
Da oggi è possibile provare il nostro nuovo modello di ricerca di base per la generazione dell’audio. La demo include TTS a zero colpi, effetti text to sound, Infilling e molto altro ancora!
Prova Audiobox ➡️ https://t.co/8OPcJYy8a9 pic.twitter.com/lo9rCOZMAh
– AI at Meta (@AIatMeta) Dicembre 11, 2023
“Progettiamo prompt basati su descrizioni ed esempi per migliorare la controllabilità e unificare i paradigmi di generazione del parlato e del suono”, ha dichiarato il team. “Permettiamo di controllare in modo indipendente la trascrizione, la voce e altri stili audio durante la generazione del parlato”.
Sebbene possa essere più veloce, Meta ha riconosciuto che i modelli di IA generativi di audio come Audiobox sono limitati dalla quantità di dati di addestramento – in questo caso, i suoni – etichettati e immessi nel modello di IA, sottolineando l’importanza di etichettare correttamente i dati.
Ad esempio, secondo i ricercatori, etichettare i suoni di un chihuahua e di un labrador che abbaiano come lo specifico tipo di cane è preferibile alla semplice etichettatura “cane che abbaia”. Meta sostiene che lo stesso vale per i modelli di discorso come gli accenti e i dialetti regionali.
Un portavoce di Meta non ha voluto fornire ulteriori commenti.
Come Google, Microsoft e Amazon, Meta ha investito molto nell’intelligenza artificiale. All’inizio di questo mese, Meta ha annunciato l’arrivo di oltre 20 nuove funzionalità basate sull’intelligenza artificiale nella sua suite di piattaforme, tra cui Facebook, Instagram e WhatsApp.
Sostenitrice di uno sviluppo responsabile dell’intelligenza artificiale, Meta ha recentemente collaborato con IBM per lanciare AI Alliance, un consorzio di oltre 50 aziende, università e think tank focalizzati sull’innovazione e lo sviluppo dell’intelligenza artificiale open-source.
“L’AI Alliance riunisce ricercatori, sviluppatori e aziende per condividere strumenti e conoscenze che possono aiutare tutti noi a fare progressi, indipendentemente dal fatto che i modelli siano condivisi apertamente o meno”, ha dichiarato Nick Clegg, Presidente degli Affari Globali di Meta. “Non vediamo l’ora di collaborare con i partner per far progredire lo stato dell’arte dell’IA e aiutare tutti a costruire in modo responsabile. “
