Meta AI heeft Habitat 3 onthuld, een nieuwe simulator die het onderzoek bevordert naar AI-agenten die kunnen samenwerken en mensen kunnen assisteren in virtuele 3D-omgevingen. Het platform, gepresenteerd door het team van Facebook AI Research (FAIR), maakt high-fidelity simulatie van menselijke avatars mogelijk en maakt realtime interactie tussen mensen en AI mogelijk via een virtuele interface.
Volgens de onderzoekers onderscheidt Habitat 3 zich door zijn vermogen om diverse en realistische virtuele mensen te genereren die binnenshuis kunnen navigeren en objecten bijna net zo snel kunnen manipuleren als niet-menselijke agenten.
FAIR noemt het “een simulatieplatform voor het bestuderen van samenwerkende mens-robot taken in huiselijke omgevingen” en schrijft in een begeleidend onderzoeksartikel dat “Habitat 3.0 bijdragen biedt in drie dimensies”.
Het uiteindelijke doel is wat Meta “belichaamde AI” noemt, waarbij technologie een actieve rol speelt in de fysieke wereld door middel van wearables en robots.
Met Habitat 3.0 heeft Meta een platform gebouwd voor grootschalige training van mens-robotinteractie in alledaagse taken zoals het opruimen van een woonkamer tot het bereiden van een maaltijd in de keuken.
Bron: Meta
Om deze samenwerkende AI-capaciteiten te benchmarken, ontwierp het team twee soorten interactieve taken: sociale navigatie, waarbij een robot een avatar moet lokaliseren en volgen, en sociale herschikking, waarbij een robot en avatar samen een kamer moeten opruimen. In hun experimenten ontdekten de onderzoekers dat de virtuele robots een beleid ontwikkelden en gedrag leerden om efficiënt samen te werken met avatars, zoals hen de ruimte geven wanneer ze samen navigeren. De sociale herschikkingsexperimenten toonden ook aan dat aangeleerd beleid de efficiëntie van het werk voor ongeziene avatarpartners kon verbeteren.
“We hebben aanzienlijke vooruitgang geboekt in de richting van onze visie van sociaal intelligente robots sinds we Habitat 1.0 in 2019 open sourcden,” merkte Meta op in zijn aankondiging. Er is echter nog belangrijk werk te doen, en tools zoals Habitat 3 kunnen een grotere betrokkenheid bij deze belangrijke onderzoeksrichting aanmoedigen.
In de toekomst verwacht Meta “zich te richten op het inzetten van de modellen die zijn geleerd in simulatie in de fysieke wereld, zodat we hun prestaties beter kunnen meten.”
Als aanvulling op deze simulator is er de Habitat Synthetic Scenes Dataset (HSSD-200). Deze door kunstenaars ontworpen 3D dataset bevat meer dan 18.000 objecten in 466 semantische categorieën in 211 scènes. Het is een hulpmiddel dat kan worden gebruikt om navigatieagenten met ongeëvenaarde precisie te trainen, waardoor een realistischere trainingsomgeving voor robots ontstaat.
Bron: Meta
Meta introduceerde ook HomeRobot, een ander platform dat is ontworpen om de kloof tussen simulatie en de echte wereld te overbruggen. Met HomeRobot kunnen robots taken uitvoeren in zowel gesimuleerde als fysieke omgevingen.
Deze vooruitgang heeft bredere implicaties, vooral als je het bekijkt vanuit de langetermijndoelen van Meta. De Metaverse, een collectieve virtuele gedeelde ruimte, wordt voorgesteld als een convergentie van virtueel verbeterde fysieke realiteit en interactieve digitale ruimtes. Met tools als Habitat 3.0 vervaagt de grens tussen de digitale en fysieke wereld, waardoor meer meeslepende en interactieve ervaringen mogelijk worden.
Bovendien is Meta’s toewijding aan AI duidelijk zichtbaar in hun aanzienlijke investeringen op dit gebied. De techgigant levert een toonaangevende bijdrage aan platforms die zijn gewijd aan natuurlijke taalverwerking, wat hun toewijding aan het bevorderen van het domein laat zien. De LlaMA LLM van het bedrijf voedt veel van de open-source aangepaste LLM’s die momenteel beschikbaar zijn en het is het bedrijf met de meeste commits voor open-source AI-projecten Hugging Face, gevolgd door Microsoft.
Habitat 3 belooft nieuw onderzoek te ontsluiten naar assisterende AI-agenten die kunnen samenwerken met mensen in virtuele werelden, in lijn met Meta’s visie op collaboratieve AI in augmented en virtual reality. De mogelijkheid om snel beleid te itereren en te trainen in high-fidelity simulatie voordat het in de echte wereld wordt ingezet, kan de ontwikkeling van nog bruikbaardere AI-capaciteiten versnellen.
