Le géant de la technologie Microsoft a dévoilé une nouvelle méthode de formation à l’IA appelée « Algorithme de pensées » (AoT), conçue pour rendre les grands modèles de langage tels que ChatGPT plus efficaces et plus proches de l’homme dans leurs capacités de raisonnement.
Cette nouvelle approche est la prochaine étape naturelle pour l’entreprise, qui a beaucoup investi dans l’IA, et en particulier dans OpenAI – les créateurs de DALL-E, ChatGPT et du puissant modèle de langage GPT.
Selon Microsoft, la technique AoT pourrait changer la donne, car elle « guide le modèle de langage à travers un chemin de résolution de problèmes plus rationnel », selon un document de recherche publié. Cette nouvelle approche utilise « l’apprentissage en contexte », permettant au modèle d’explorer différentes solutions de manière organisée et systématique.
Le résultat ? Une résolution de problèmes plus rapide et moins gourmande en ressources.
« Notre technique est plus performante que les méthodes antérieures à une seule requête et se situe au même niveau qu’une approche récente à plusieurs requêtes utilisant une recherche arborescente étendue », peut-on lire dans l’article. « De manière intrigante, nos résultats suggèrent que le fait d’instruire un modèle avec un algorithme peut conduire à des performances supérieures à celles de l’algorithme lui-même. «
Les chercheurs affirment que le modèle acquiert une meilleure « intuition » lorsque cette technique optimise son processus de recherche.
Un hybride algorithme-homme?
La méthode AoT s’attaque aux limites des techniques actuelles d’apprentissage en contexte telles que l’approche de la « chaîne de pensée » (CoT). La CoT fournit parfois des étapes intermédiaires incorrectes, alors que l’AoT guide le modèle à l’aide d’exemples algorithmiques pour obtenir des résultats plus fiables.
L’AoT s’inspire à la fois des humains et des machines pour améliorer les performances d’un modèle d’IA génératif. Alors que les humains excellent dans la cognition intuitive, les algorithmes sont connus pour leur exploration organisée et exhaustive. Le document de recherche indique que l’algorithme des pensées cherche à « fusionner ces deux facettes pour augmenter les capacités de raisonnement au sein des LLM ».
Microsoft explique que cette technique hybride permet au modèle de surmonter les limites de la mémoire de travail humaine, ce qui permet une analyse plus complète des idées.
Contrairement au raisonnement linéaire de CoT ou à la technique de « l’arbre des pensées » (ToT), AoT permet d’envisager avec souplesse différentes options pour les sous-problèmes, en maintenant l’efficacité avec un minimum d’incitation. Il rivalise également avec les outils externes de recherche arborescente, en équilibrant efficacement les coûts et les calculs.
L’algorithme des pensées comparé à d’autres méthodes de raisonnement de l’IA. Image : Microsoft
Dans l’ensemble, l’AoT représente un passage de l’apprentissage supervisé à l’intégration du processus de recherche lui-même. En affinant l’ingénierie rapide, les chercheurs pensent que cette approche peut permettre aux modèles de résoudre efficacement des problèmes complexes du monde réel tout en réduisant leur impact en termes d’émissions de carbone.
Compte tenu de ses investissements considérables dans l’IA, Microsoft semble bien placé pour intégrer l’AoT dans des systèmes avancés tels que le GPT-4. Bien qu’il s’agisse d’un défi, apprendre aux modèles de langage à « penser » d’une manière plus humaine pourrait s’avérer transformateur.
