A gigante tecnológica Microsoft revelou um novo método de treino de IA denominado “Algoritmo de Pensamentos” (AoT), concebido para tornar os modelos de linguagem de grande dimensão, como o ChatGPT, mais eficientes e semelhantes aos humanos nas suas capacidades de raciocínio.
A nova abordagem é o próximo passo natural para a empresa, que investiu fortemente em IA, e particularmente na OpenAI – os criadores do DALL-E, ChatGPT e do poderoso modelo de linguagem GPT.
A Microsoft afirma que a técnica AoT é uma potencial mudança de jogo, uma vez que “orienta o modelo de linguagem através de um caminho de resolução de problemas mais simplificado”, de acordo com um documento de investigação publicado. Esta nova abordagem utiliza a “aprendizagem no contexto”, permitindo que o modelo explore sistematicamente diferentes soluções de uma forma organizada.
O resultado? Resolução de problemas mais rápida e com menos recursos.
“A nossa técnica supera os métodos anteriores de consulta única e está a par de uma abordagem recente de consulta múltipla que emprega uma pesquisa extensiva em árvore”, afirma o documento. “Curiosamente, os nossos resultados sugerem que instruir um modelo com um algoritmo pode levar a um desempenho superior ao do próprio algoritmo. “
Os investigadores afirmam que o modelo ganha uma “intuição” melhorada quando esta técnica optimiza o seu processo de pesquisa.
Um híbrido humano-algorítmico?
O método AoT aborda as limitações das actuais técnicas de aprendizagem em contexto, como a abordagem “Chain-of-Thought” (CoT). A CoT fornece por vezes passos intermédios incorrectos, enquanto a AoT orienta o modelo utilizando exemplos algorítmicos para obter resultados mais fiáveis.
A AoT inspira-se tanto nos seres humanos como nas máquinas para melhorar o desempenho de um modelo de IA generativo. Enquanto os humanos se destacam pela cognição intuitiva, os algoritmos são conhecidos pela sua exploração organizada e exaustiva. O documento de investigação refere que o Algoritmo de Pensamentos procura “fundir estas duas facetas para aumentar as capacidades de raciocínio nos LLM”.
A Microsoft afirma que esta técnica híbrida permite que o modelo ultrapasse as limitações da memória de trabalho humana, permitindo uma análise mais abrangente das ideias.
Ao contrário do raciocínio linear do CoT ou da técnica “Tree of Thoughts” (ToT), o AoT permite a contemplação flexível de diferentes opções para subproblemas, mantendo a eficácia com um mínimo de estímulo. Também rivaliza com as ferramentas externas de pesquisa de árvores, equilibrando eficientemente os custos e os cálculos.
Algoritmo dos Pensamentos versus outros métodos de raciocínio de IA. Imagem: Microsoft
No geral, o AoT representa uma mudança da aprendizagem supervisionada para a integração do próprio processo de pesquisa. Com aperfeiçoamentos na engenharia de prontidão, os investigadores acreditam que esta abordagem pode permitir que os modelos resolvam problemas complexos do mundo real de forma eficiente, reduzindo também o seu impacto no carbono.
Tendo em conta os seus investimentos substanciais em IA, a Microsoft parece estar bem posicionada para incorporar a AoT em sistemas avançados como o GPT-4. Embora seja um desafio, ensinar modelos de linguagem a “pensar” desta forma mais humana pode ser transformador.
