Home » Tinta invisible: los investigadores exploran los puntos débiles de las marcas de agua en contenidos generados por inteligencia artificial

Tinta invisible: los investigadores exploran los puntos débiles de las marcas de agua en contenidos generados por inteligencia artificial

by Thomas

Dado que el uso generalizado de deepfakes plantea riesgos significativos -desde la creación de imágenes de desnudos de menores hasta promociones fraudulentas que utilizan deepfakes de famosos-, la capacidad de distinguir los contenidos generados por inteligencia artificial (IA) de los generados por humanos es más importante que nunca.

Un método para identificar este tipo de contenidos es la marca de agua -una medida común contra la falsificación que se utiliza en documentos y moneda- con información añadida para distinguir una imagen creada por IA de otra que no lo ha sido. Sin embargo, un estudio reciente ha llegado a la conclusión de que las técnicas de marca de agua simples o incluso avanzadas pueden no ser suficientes para evitar el riesgo de que los materiales generados por IA se hagan pasar por creados por humanos.

El estudio fue realizado por un equipo de investigadores de la Universidad Tecnológica de Nanyang, S-Lab, NTU, la Universidad de Chongqing, Shannon.AI y la Universidad de Zhejiang.

Uno de los autores, Li Guanlin, declaró a TCN que «la marca de agua puede ayudar a reconocer si el contenido ha sido generado por inteligencia artificial o por humanos». Sin embargo, añadió, «si la marca de agua de un AIGC es fácil de eliminar o falsificar, podemos hacer creer libremente a los demás que la obra está creada por inteligencia artificial añadiendo la marca de agua, o que el AIGC está generado por humanos eliminando la marca de agua».

El documento explora las diversas vulnerabilidades de las técnicas de marca de agua existentes.

«Los esquemas de marcas de agua para AIGC son vulnerables a los ataques de un adversario que pueda eliminar la marca de agua sin conocer la clave secreta», afirma el artículo. Esta vulnerabilidad tiene consecuencias reales, sobre todo cuando se trata de desinformación o uso malintencionado de contenidos generados por IA.

«Si algunas personas malintencionadas distribuyen imágenes falsas de famosos generadas por IA después de eliminar las marcas de agua, será imposible demostrar que esas imágenes son generadas por IA porque no tenemos pruebas suficientes», explica Li a TCN.

Lee y su equipo llevaron a cabo una serie de experimentos para comprobar la solidez e integridad de los métodos existentes para poner marcas de agua a contenidos generados por IA. Aplicaron varios métodos para eliminar o falsificar marcas de agua, evaluando la sencillez y eficacia de cada uno. Los resultados demostraron que las marcas de agua se pueden falsificar con relativa facilidad.

El proceso de ataque utilizado en el estudio. Imagen: Arvix

El proceso de ataque utilizado en el estudio. Imagen: Arvix


Además, evaluaron las posibles implicaciones de estas vulnerabilidades en el mundo real, especialmente en escenarios de desinformación o uso malintencionado de contenidos generados por IA. Los resultados combinados de estos experimentos y análisis les llevaron a concluir que existe una necesidad urgente de mecanismos de marca de agua más robustos.

Aunque empresas como OpenAI han anunciado el desarrollo de métodos para detectar contenidos generados por IA con una precisión del 99%, el problema general persiste. Los métodos de identificación existentes, como los metadatos y las marcas de agua invisibles, son defectuosos.

Li cree que «es mejor combinar algunos métodos criptográficos, como la firma digital, con los esquemas de marcas de agua existentes para proteger la AIGC», aunque la implementación exacta sigue sin estar clara.

Otros investigadores han propuesto un enfoque más extremo. Como informó recientemente TCN, un equipo del Instituto Tecnológico de Massachusetts ha propuesto convertir imágenes en «veneno» para modelos de inteligencia artificial. Si se utiliza una imagen «envenenada» como entrada para un conjunto de datos de entrenamiento, el modelo final producirá malos resultados porque captará detalles que no son visibles para el ojo humano pero que tienen un gran impacto en el proceso de aprendizaje. Sería como una marca de agua mortal que acaba con el modelo entrenado.

El rápido progreso de la IA, como señala Sam Altman, CEO de OpenAI, sugiere que en el futuro los procesos de pensamiento inherentes a la IA podrían reflejar la lógica y la intuición humanas. Con esta evolución, la necesidad de medidas de seguridad sólidas, como las marcas de agua, se hace aún más urgente.

Lee cree que «las marcas de agua y la gestión de contenidos son necesarias porque en realidad no afectan a los usuarios normales», pero el conflicto entre creadores y detractores sigue existiendo. «Siempre será un juego del gato y el ratón….. Por eso hay que actualizar constantemente los sistemas de marcas de agua «

Related Posts

Leave a Comment