La nouvelle technique, décrite dans un article publié jeudi, s’appuie sur les avancées récentes en matière de modèles de langage à grande échelle, tels que le GPT-4 d’OpenAI. Eureka utilise l’intelligence artificielle générative pour écrire de manière autonome des algorithmes de récompense sophistiqués qui permettent aux robots d’apprendre par renforcement via l’essai-erreur. Cette approche s’est révélée plus de 50 % plus efficace que les programmes créés par l’homme, selon l’article.
« Eureka a également appris aux quadrupèdes, aux mains agiles, aux mains kobo et à d’autres robots à ouvrir des tiroirs, à utiliser des ciseaux, à attraper des balles et à effectuer près de 30 tâches différentes », peut-on lire sur le blog officiel de Nvidia.
Eureka est le dernier exemple en date du travail de pionnier de Nvidia en matière de pilotage de l’IA à l’aide de modèles de langage. La société a récemment dévoilé SteerLM, une méthode qui adapte les assistants d’IA pour les rendre plus utiles en les formant sur la base des commentaires humains.
Comme Eureka, SteerLM exploite les avancées en matière de modèles de langage, mais se concentre sur une tâche différente : l’amélioration de l’adéquation des assistants d’IA. SteerLM forme les assistants en leur faisant pratiquer des conversations, tout comme un robot apprend en faisant. Le système fournit un retour d’information sur les réponses de l’assistant grâce à des caractéristiques telles que l’utilité, l’humour et la qualité.
Par exemple, c’est comme si un robot apprenait à danser sur la base de vidéos marquées comme bonnes ou mauvaises, plutôt qu’un humain regardant des milliers de danses au hasard et déterminant lesquelles sont bonnes et lesquelles ne le sont pas (comme les chatbots d’IA typiques sont formés à le faire). Grâce à une pratique répétée et au retour d’information, les assistants apprennent à fournir des réponses adaptées aux besoins de l’utilisateur. Cela rend l’IA plus utile pour les applications du monde réel.
Une caractéristique commune est l’utilisation de réseaux neuronaux avancés de manière nouvelle et créative, qu’il s’agisse d’enseigner à des robots ou à des chatbots. Nvidia repousse les limites tant au niveau du matériel que des logiciels.
Pour Eureka, la combinaison de technologies de simulation comme celles d’Isaac Gym avec les capacités de reconnaissance des modèles de langage a été déterminante. Eureka « apprend à apprendre » et optimise ses propres algorithmes de récompense au cours de multiples entraînements. Il accepte même l’intervention humaine pour améliorer ses récompenses.
Cette approche d’auto-amélioration s’est avérée jusqu’à présent très généralisable, ce qui lui permet d’entraîner toutes sortes de robots – des robots avec des jambes, des roues, des mains volantes et agiles.
Les systèmes Eureka et SteerLM de Nvidia ne se contentent pas de surmonter les obstacles, ils enseignent aux robots et à l’IA l’art de l’interaction subtile et perspicace. Avec chaque coup de crayon et chaque conversation pleine d’esprit, ils dessinent un avenir où l’IA ne se contente pas d’imiter, mais innove avec nous.
