La empresa matriz de Facebook, Meta, presentó el lunes la primera demostración de su nueva plataforma generadora de audio basada en inteligencia artificial, Audiobox. Según el gigante de las redes sociales, Audiobox permite a los usuarios crear voces y efectos de sonido personalizados mediante entradas de voz e indicaciones.
Audiobox, dijo Meta, se basa en la tecnología desarrollada para su plataforma Voicebox presentada a principios de este año, pero supera a Voicebox en calidad e incluye marca de agua automática para un «uso responsable».
«Audiobox, el sucesor de Voicebox, avanza aún más en la IA generativa para audio unificando las capacidades de generación y edición de voz, efectos sonoros (sonidos breves y discretos como el ladrido de un perro, el claxon de un coche, un trueno, etc.) y paisajes sonoros, con una variedad de mecanismos de entrada para maximizar la capacidad de control en cada caso de uso», explicó el equipo de Audiobox de Meta.
Audiobox, explica el equipo, utiliza «solucionadores a medida» que, según afirman, hacen que el proceso de generación sea más de 25 veces más rápido que en modelos anteriores sin pérdida de rendimiento.
En junio, Meta anunció Voicebox, una herramienta de IA generativa que, según Meta, puede producir audio en seis idiomas, entre ellos inglés, francés, alemán, español, polaco y portugués, y hacerlo de forma más parecida a como habla la gente de forma natural en el mundo real.
Ante la creciente preocupación por las falsificaciones basadas en IA, Meta dijo que no pondría Voicebox a disposición del público, reconociendo el potencial de uso indebido. Para combatir el uso indebido de Audiobox, Meta incluyó una marca de agua.
«Los recientes avances en calidad y fidelidad del modelo generativo de audio han potenciado nuevas aplicaciones y usos del modelo. Sin embargo, al mismo tiempo, son muchas las personas… que expresan su preocupación por los riesgos de uso indebido», afirma el equipo de Audiobox en su informe. «Por lo tanto, la capacidad de reconocer qué audio es generado o real es crucial para prevenir el [mal uso] de la tecnología y permitir que ciertas [plataformas] cumplan con su política».
«Tanto el modelo Audiobox como nuestra demo interactiva incorporan marcas de agua de audio automáticas para que cualquier audio creado con Audiobox pueda rastrearse con precisión hasta su origen», afirma Meta. «Nuestro método de marca de agua incrusta una señal en el audio que es imperceptible para el oído humano, pero que puede detectarse hasta el nivel de fotograma utilizando un modelo capaz de encontrar segmentos generados por IA en [el] audio.»
A partir de hoy puedes probar nuestro nuevo modelo básico de investigación para la generación de audio. La demo incluye Zero shot TTS, Text to sound effects, Infilling ¡y mucho más!
Prueba Audiobox ➡️ https://t.co/8OPcJYy8a9 pic.twitter.com/lo9rCOZMAh
– AI at Meta (@AIatMeta) 11 de diciembre de 2023
«Diseñamos avisos basados en descripciones y ejemplos para mejorar la capacidad de control y unificar los paradigmas de generación de voz y sonido», explica el equipo. «Permitimos que la transcripción, la voz y otros estilos de audio se controlen de forma independiente al generar el habla».
Aunque puede ser más rápido, Meta reconoció que los modelos de IA generadores de audio como Audiobox están limitados por la cantidad de datos de entrenamiento -en este caso, sonidos- etiquetados e introducidos en el modelo de IA, lo que subraya la importancia de etiquetar correctamente los datos.
Por ejemplo, según los investigadores, etiquetar los sonidos de un chihuahua y un labrador ladrando como el tipo de perro específico es preferible a etiquetarlos simplemente como «ladridos de perro». Meta afirma que lo mismo se aplica a patrones del habla como acentos y dialectos regionales.
Un portavoz de Meta declinó hacer más comentarios.
Al igual que Google, Microsoft y Amazon, Meta ha invertido mucho en inteligencia artificial. A principios de este mes, Meta anunció la llegada de más de 20 nuevas funciones basadas en IA a su conjunto de plataformas, incluidas Facebook, Instagram y WhatsApp.
Defensora del desarrollo responsable de la IA, Meta se asoció recientemente con IBM para lanzar la AI Alliance, un consorcio de más de 50 empresas, universidades y grupos de reflexión centrado en la innovación y el desarrollo de la IA de código abierto.
«La AI Alliance reúne a investigadores, desarrolladores y empresas para compartir herramientas y conocimientos que pueden ayudarnos a todos a progresar, tanto si los modelos se comparten abiertamente como si no», declaró el Presidente de Asuntos Globales de Meta, Nick Clegg. «Estamos deseando trabajar con los socios para avanzar en el estado del arte de la IA y ayudar a todos a construir de forma responsable. «
