ChatGPT de OpenAI se ha convertido rápidamente en un amigo para muchos programadores, pero para los investigadores de ciberseguridad, aparentemente no es lo suficientemente fiable como para detectar los bugs peligrosos que existen.
En un informe reciente de Immunefi, la empresa de seguridad web descubrió que muchos investigadores de seguridad utilizan ChatGPT como parte de su flujo de trabajo diario. Según su encuesta, cerca del 76% de los investigadores de sombrero blanco -aquellos que sondean sistemas y código en busca de puntos débiles que corregir- utilizan ChatGPT con regularidad, frente a algo más del 23% que no lo hace.
Sin embargo, según el informe, muchos investigadores consideran que ChatGPT es deficiente en las áreas en las que es importante. Por encima de todas las demás preocupaciones, Immunefi descubrió que alrededor del 64% de los encuestados afirmó que ChatGPT ofrecía una «precisión limitada» a la hora de identificar vulnerabilidades de seguridad, y aproximadamente el 61% dijo que carecía de los conocimientos especializados para identificar exploits de los que los hackers pueden abusar.
J
Jonah Michaels, responsable de comunicación de Immunefi, dijo a TCN que el informe muestra que los «sombreros blancos» siguen siendo «sorprendentemente optimistas» sobre el potencial de ChatGPT, especialmente para fines educativos, pero dijo que este no era un sentimiento que su empresa compartiera para su trabajo.
«Los sombreros blancos le dan un uso más amplio», afirma Michaels. «Nosotros le vemos un uso más limitado, porque vemos que se utiliza para enviar informes de errores esencialmente basura».
Immunefi, especializada en programas de recompensas por fallos en el espacio Web3, ha prohibido a los usuarios enviar informes de fallos utilizando ChatGPT desde que se hizo público por primera vez. Uno de los tweets que publicó la empresa incluía una captura de pantalla en la que se preguntaba al propio ChatGPT por qué no utilizarlo para informar de fallos, a lo que el chatbot respondía que sus resultados «pueden no ser precisos o relevantes».
Por esta razón, Michaels dijo que Immunefi prohíbe inmediatamente a los usuarios que envíen informes de errores basados en ChatGPT. La razón, dijo, es que a menudo parecen lo suficientemente bien escritos como para ser convincentes desde una «vista de 3.000 pies», pero suelen estar plagados de fallos basados en funciones que simplemente no existen.
Aquí está ChatGPT sobre por qué no deberías usar ChatGPT para generar y enviar informes de errores.
Recordatorio adicional de que el envío de informes de errores ChatGPT en Immunefi hará que te baneen porque la salida nunca es exacta o relevante. pic.twitter.com/nOvVOmQVmG
– Immunefi (@immunefi) 4 de enero de 2023
Desde su lanzamiento el pasado noviembre, ChatGPT se ha visto perseguido por la inconsistente exactitud de algunos de los contenidos que produce, desde falsas acusaciones de agresión sexual a citar precedentes legales que no existen en documentos judiciales.
OpenAI advierte a los usuarios de que no confíen ciegamente en GPT por su propensión a proporcionar información engañosa o completamente inexacta, lo que suele denominarse «alucinaciones». Un portavoz de OpenAI no devolvió la solicitud de comentarios de TCN para esta historia.
En el informe de Immunefi, la comunidad white hat expresó su opinión de que los modelos ChatGPT requerirán más formación para diagnosticar ciberamenazas o realizar auditorías, porque actualmente carecen de ese conocimiento especializado.
Micheals afirmó que el chatbot adolece de no disponer de los conjuntos de datos adecuados en la actualidad, y que los desarrolladores deberían confiar por ahora en el código elaborado manualmente para estar seguros. Sin embargo, añadió que podría llegar un día en el futuro en el que ChatGPT u otras herramientas de IA generativa como ésta puedan realizar estas tareas de forma más fiable.
«¿Es posible que ChatGPT mejore y se entrene específicamente en repositorios de proyectos y mucho más en el mundo blockchain? Creo que sí», dijo Michaels a TCN. «Pero no creo que pueda recomendar eso ahora con lo mucho que está en juego y lo nuevo que es el campo. «
