Meta AI a dévoilé Habitat 3, un nouveau simulateur qui fait avancer la recherche sur les agents d’IA capables de collaborer et d’assister les humains dans des environnements virtuels en 3D. La plateforme, présentée par l’équipe Facebook AI Research (FAIR), permet une simulation haute fidélité des avatars humains et une interaction en temps réel entre les humains et l’IA par le biais d’une interface virtuelle.
Selon les chercheurs, Habitat 3 se distingue par sa capacité à générer des humains virtuels variés et réalistes, capables de naviguer à l’intérieur et de manipuler des objets presque aussi rapidement que des agents non humains.
FAIR l’appelle « une plateforme de simulation pour l’étude des tâches collaboratives homme-robot dans les environnements domestiques » et écrit dans un article de recherche qui l’accompagne que « Habitat 3.0 offre des contributions en trois dimensions ».
L’objectif ultime est ce que Meta appelle « l’IA incarnée », où la technologie joue un rôle actif dans le monde physique par le biais de vêtements et de robots.
Avec Habitat 3.0, Meta a construit une plateforme pour l’entraînement à grande échelle de l’interaction homme-robot dans des tâches quotidiennes telles que le nettoyage d’un salon ou la préparation d’un repas dans la cuisine.
Source : Meta
Pour évaluer ces capacités d’IA collaborative, l’équipe a conçu deux types de tâches interactives : la navigation sociale, dans laquelle un robot doit localiser et suivre un avatar, et le réarrangement social, dans lequel un robot et un avatar doivent ranger une pièce ensemble. Dans leurs expériences, les chercheurs ont constaté que les robots virtuels développaient des politiques et apprenaient des comportements pour coopérer efficacement avec les avatars, par exemple en leur laissant de l’espace lorsqu’ils naviguaient ensemble. Les expériences de réarrangement social ont également montré que les politiques apprises pouvaient améliorer l’efficacité du travail pour les avatars partenaires non vus.
« Nous avons fait des progrès significatifs vers notre vision des robots socialement intelligents depuis que nous avons ouvert Habitat 1.0 en 2019 », a noté Meta dans son annonce. Cependant, il reste encore un travail important à faire, et des outils comme Habitat 3 peuvent encourager un plus grand engagement dans cette importante direction de recherche.
À l’avenir, Meta prévoit de « se concentrer sur le déploiement des modèles appris en simulation dans le monde physique, afin que nous puissions mieux mesurer leurs performances. «
Le jeu de données sur les scènes synthétiques d’habitat (HSSD-200) vient compléter ce simulateur. Cet ensemble de données 3D conçu par des artistes contient plus de 18 000 objets dans 466 catégories sémantiques dans 211 scènes. C’est un outil qui peut être utilisé pour former des agents de navigation avec une précision inégalée, créant ainsi un environnement d’entraînement plus réaliste pour les robots.
Source : Meta
Meta a également présenté HomeRobot, une autre plateforme conçue pour combler le fossé entre la simulation et le monde réel. Avec HomeRobot, les robots peuvent effectuer des tâches dans des environnements physiques et simulés.
Cette avancée a des implications plus larges, en particulier si l’on considère les objectifs à long terme de Meta. Le Metaverse, un espace collectif virtuel partagé, est envisagé comme une convergence de la réalité physique virtuellement améliorée et des espaces numériques interactifs. Avec des outils comme Habitat 3.0, la frontière entre les mondes numérique et physique s’estompe, ce qui permet des expériences plus immersives et interactives.
En outre, l’engagement de Meta en faveur de l’IA se manifeste par des investissements importants dans ce domaine. Le géant de la technologie est l’un des principaux contributeurs aux plateformes dédiées au traitement du langage naturel, ce qui témoigne de son engagement à faire progresser ce domaine. Le LLM LlaMA de l’entreprise alimente de nombreux LLM open-source personnalisés actuellement disponibles et c’est l’entreprise qui s’engage le plus dans les projets d’IA open-source Hugging Face, suivie par Microsoft.
Habitat 3 promet de débloquer de nouvelles recherches sur les agents d’IA d’assistance qui peuvent collaborer avec les humains dans les mondes virtuels, conformément à la vision de Meta de l’IA collaborative dans la réalité augmentée et virtuelle. La possibilité d’itérer et de former rapidement des politiques dans une simulation haute fidélité avant de les déployer dans le monde réel pourrait accélérer le développement de capacités d’IA encore plus utiles.
