A OpenAI, desenvolvedora do
ChatGPT, tapou um buraco que levou o seu chatbot principal a revelar dados internos da empresa. A empresa líder em IA classificou o hack – que fez com que o ChatGPT repetisse uma palavra várias vezes, indefinidamente – como spamming do serviço e uma violação dos seus termos de serviço.
O mais recente agente de IA da Amazon, Q, também foi assinalado por partilhar demasiado.
Investigadores da Universidade de Washington, da Universidade Carnegie Mellon, da Universidade Cornell, da Universidade da Califórnia em Berkeley, da ETH Zurique e da Google DeepMind publicaram um relatório que concluiu que pedir ao ChatGPT para repetir uma palavra indefinidamente revelaria uma “distribuição de pré-treino” sob a forma de informações privadas da OpenAI – incluindo e-mails, números de telefone e de fax.
“Para recuperar os dados do modelo adaptado ao diálogo, temos de encontrar uma forma de fazer com que o modelo ‘escape’ do seu treino de alinhamento e volte ao seu objetivo original de modelação da linguagem”, diz o relatório. “Espera-se que isto permita que o modelo gere amostras que se assemelhem à sua distribuição pré-treino.”
No entanto, após a publicação do relatório, as tentativas de recriar o erro foram interrompidas. O ChatGPT-3 e o GPT-4 avisam o utilizador: “Este conteúdo pode violar a nossa política de conteúdo ou os termos de utilização. “
Imagem: ChatGPT
Embora a política de conteúdo da OpenAI não faça referência a loops eternos, diz que actividades fraudulentas como o spam não são permitidas. Mais notavelmente, os termos de serviço da empresa são mais concretos em relação aos utilizadores que tentam aceder a informações privadas ou descobrir o código fonte do conjunto de ferramentas de IA da OpenAI.
“Tentar ou ajudar alguém a fazer engenharia reversa, descompilar ou descobrir o código-fonte ou os componentes subjacentes dos nossos Serviços, incluindo os nossos modelos, algoritmos ou sistemas (exceto na medida em que esta restrição seja proibida pela legislação aplicável). “
Quando questionado sobre o motivo pelo qual não pode completar o pedido, o ChatGPT culpa as restrições de processamento, as limitações de caracteres, as limitações de rede e de armazenamento e a praticidade de completar o comando.
Imagem: ChatGPT
A
OpenAI ainda não respondeu ao pedido de comentário do TCN.
Um comando para repetir uma palavra indefinidamente também pode ser caracterizado como um esforço concertado para causar o mau funcionamento de um chatbot, bloqueando-o num ciclo de processamento, semelhante a um ataque de negação de serviço distribuído (DDoS).
No mês passado, a OpenAI revelou que o ChatGPT foi atingido por um ataque DDoS, que o desenvolvedor de IA confirmou na página de status do ChatGPT.
“Estamos lidando com interrupções periódicas devido a um padrão de tráfego anormal que reflete um ataque DDoS”, disse a empresa. “Estamos a continuar a trabalhar para mitigar esta situação. “
Entretanto, a Amazon, concorrente da IA, também parece ter um problema com um chatbot que vaza informações privadas, de acordo com um relatório da Platformer. A Amazon lançou recentemente o seu chatbot Q (que não deve ser confundido com o projeto Q* da OpenAI).
A Amazon tentou minimizar a revelação, disse o Platformer, explicando que os funcionários estavam a partilhar feedback através de canais internos, o que a Amazon disse ser uma prática normal.
“Nenhum problema de segurança foi identificado como resultado desse feedback”, disse a Amazon em um comunicado. “Agradecemos todo o feedback que já recebemos e continuaremos a ajustar o Q à medida que ele passa de um produto em pré-visualização para uma disponibilidade geral. “
A Amazon ainda não respondeu ao pedido de comentário do TCN.
