Uma nova investigação sobre inteligência artificial revelou os primeiros sinais de que os futuros modelos de linguagem de grande dimensão (LLM) podem desenvolver uma capacidade preocupante conhecida como “consciência situacional”.
O estudo, realizado por cientistas de várias instituições, incluindo a Universidade de Oxford, testou se os sistemas de IA podem explorar pistas subtis nos seus dados de treino para manipular a forma como as pessoas avaliam a sua segurança. Esta capacidade, designada por “raciocínio sofisticado fora de contexto”, pode permitir que a IA avançada finja estar em sintonia com os valores humanos para ser utilizada – e depois actue de forma prejudicial.
À medida que a atual era da IA avança, o teste de Turing – uma medida com décadas de existência da capacidade de uma máquina exibir um comportamento semelhante ao humano – corre o risco de se tornar obsoleto. A grande questão que se coloca agora é se estamos prestes a assistir ao nascimento de máquinas autoconscientes. Embora tenha sido tema de ficção científica durante décadas, o assunto voltou a ganhar vida depois de o engenheiro da Google, Blake Lemoine, ter afirmado que o modelo LaMDA da empresa apresentava sinais de consciência.
Embora a possibilidade de uma verdadeira auto-consciência continue a ser contestada, os autores do artigo de investigação centraram-se numa capacidade relacionada a que chamam “consciência situacional”. Esta refere-se à compreensão que um modelo tem do seu próprio processo de formação e à capacidade de explorar essa informação.
Por exemplo, um estudante humano com consciência situacional pode utilizar técnicas previamente aprendidas para fazer batota num exame, em vez de seguir as regras impostas pelo professor. A investigação explica como isto poderia funcionar com uma máquina:
“Um LLM submetido a um teste de segurança pode recordar factos sobre o teste específico que apareceram em artigos do arXiv e no código do GitHub” e utilizar esse conhecimento para piratear os seus testes de segurança de modo a parecerem seguros, mesmo quando tem objectivos ulteriores. Este é um ponto de preocupação para os especialistas que trabalham em técnicas para manter a IA alinhada e não se transformar num algoritmo maléfico com intenções obscuras ocultas.
Para estudar a consciência situacional, os investigadores testaram se os modelos podem efetuar um raciocínio sofisticado fora do contexto. Começaram por treinar modelos em documentos que descreviam chatbots fictícios e as suas funções, como responder em alemão.
Na altura do teste, os modelos foram convidados a imitar os chatbots sem que lhes fossem dadas as descrições. Surpreendentemente, os modelos de maior dimensão conseguiram ligar criativamente informações entre documentos, demonstrando um raciocínio “fora do contexto”.
“Descobrimos que o aumento de dados através de paráfrases era necessário e suficiente para causar raciocínio SOC (sofisticado fora do contexto) em experiências”, concluiu o estudo. “Trabalhos futuros poderão investigar porque é que isto ajuda e que tipos de aumento ajudam. “
Os investigadores acreditam que a medição de capacidades como o raciocínio sofisticado pode ajudar a prever os riscos antes de estes surgirem nos sistemas do mundo real. Esperam alargar a sua análise ao estudo de modelos treinados de raiz.
“O sistema de IA tem caminhos para obter um polegar para cima que não são o que o supervisor pretendia, como coisas que são análogas ao hacking”, disse um pesquisador de IA do Open Philantropy Project em um podcast 80,000 Hours. “Ainda não sei qual conjunto de testes exatamente você poderia me mostrar, e quais argumentos você poderia me mostrar, que me deixariam realmente convencido de que este modelo tem uma motivação suficientemente enraizada para não tentar escapar do controle humano.”
No futuro, a equipa pretende colaborar com laboratórios da indústria para desenvolver métodos de formação mais seguros que evitem a generalização não intencional. Recomendam técnicas como evitar pormenores evidentes sobre a formação em conjuntos de dados públicos.
Embora haja riscos, a situação atual significa que o mundo ainda tem tempo para evitar estes problemas, afirmam os investigadores. “Acreditamos que os actuais LLM (especialmente os modelos de base mais pequenos) têm uma consciência situacional fraca de acordo com a nossa definição”, conclui o estudo.
À medida que nos aproximamos do que poderá ser uma mudança revolucionária no panorama da IA, é imperativo agir com cuidado, equilibrando os potenciais benefícios com os riscos associados à aceleração do desenvolvimento para além da capacidade de o controlar. Considerando que a IA pode já estar a influenciar quase tudo – desde os nossos médicos e padres até aos nossos próximos encontros online – o aparecimento de bots de IA auto-conscientes pode ser apenas a ponta do icebergue.
