O ChatGPT da
OpenAI tornou-se rapidamente um amigo de muitos programadores, mas para os investigadores de cibersegurança, aparentemente não é suficientemente fiável para apanhar os bugs perigosos que andam por aí.
Num relatório recente da Immunefi, a empresa de segurança web descobriu que muitos investigadores de segurança estão a utilizar o ChatGPT como parte do seu fluxo de trabalho diário. De acordo com o seu inquérito, cerca de 76% dos investigadores de chapéu branco – aqueles que sondam sistemas e códigos em busca de pontos fracos para corrigir – utilizam regularmente o ChatGPT, em comparação com pouco mais de 23% que não o fazem.
No entanto, o relatório diz que muitos investigadores consideram o ChatGPT insuficiente nas áreas em que é importante. Acima de todas as outras preocupações, a Immunefi constatou que cerca de 64% dos inquiridos disseram que o ChatGPT forneceu “precisão limitada” na identificação de vulnerabilidades de segurança, e aproximadamente 61% disseram que lhe faltava o conhecimento especializado para identificar explorações de que os hackers podem abusar.
Jonah Michaels, líder de comunicações da Immunefi, disse à TCN que o relatório mostra que os chapéus brancos continuam “surpreendentemente optimistas” em relação ao potencial do ChatGPT, especialmente para fins educativos, mas disse que este não era um sentimento que a sua empresa partilhasse em relação ao seu trabalho.
Os “chapéus brancos” vêem uma utilização mais alargada”, disse Michaels. “Nós vemos um uso mais limitado, porque vemos que está a ser usado para enviar essencialmente relatórios de bugs de lixo.”
A
Immunefi, especializada em programas de recompensa de bugs no espaço Web3, proibiu os utilizadores de submeterem relatórios de bugs utilizando o ChatGPT desde que este se tornou publicamente disponível. Um tweet publicado pela empresa incluía uma captura de tela de um prompt perguntando ao próprio ChatGPT por que não usá-lo para relatórios de bugs, ao qual o chatbot respondeu que seus resultados “podem não ser precisos ou relevantes”.
Por esse motivo, Michaels disse que a Immunefi proíbe imediatamente os usuários que enviam relatórios de bugs com base no ChatGPT. A razão, disse ele, é que muitas vezes eles parecem bem escritos o suficiente para serem convincentes a partir de uma “visão de 3.000 pés”, mas eles são tipicamente repletos de falhas baseadas em funções que simplesmente não existem.
Aqui está o ChatGPT sobre por que você não deve usar o ChatGPT para gerar e enviar relatórios de bugs.
Lembrete adicional de que submeter relatórios de bugs do ChatGPT no Immunefi fará com que você seja banido porque o resultado nunca é preciso ou relevante. pic.twitter.com/nOvVOmQVmG
– Immunefi (@immunefi) 4 de janeiro de 2023
Desde o seu lançamento em novembro passado, o ChatGPT tem sido perseguido pela precisão inconsistente de alguns dos conteúdos que produz, desde falsas alegações de agressão sexual até à citação de precedentes legais que não existem nos documentos de um tribunal.
A OpenAI adverte contra a confiança cega dos utilizadores no GPT devido à sua propensão para fornecer informações enganosas ou completamente imprecisas, normalmente designadas por “alucinações”. Um porta-voz da OpenAI não respondeu ao pedido de comentário do TCN para esta história.
No relatório da Immunefi, a comunidade de white hat expressou a opinião de que os modelos de ChatGPT exigirão mais formação no diagnóstico de ameaças cibernéticas ou na realização de auditorias, porque atualmente não possuem esse conhecimento especializado.
Micheals disse que o chatbot sofre por não ter os conjuntos de dados correctos atualmente e que, por enquanto, os programadores devem confiar no código criado manualmente para estarem seguros. No entanto, ele acrescentou que pode haver um dia no futuro em que o ChatGPT ou outras ferramentas de IA generativas como ele possam fazer essas tarefas de uma forma mais confiável.
“É possível que o ChatGPT melhore e seja treinado especificamente em repositórios de projetos e muito mais no mundo do blockchain? Acho que sim”, disse Michaels ao TCN. “Mas acho que não posso recomendar isso agora, com o quão alto são os riscos e quão novo é o campo. “
