Meta AI hat Habitat 3 vorgestellt, einen neuen Simulator, der die Forschung an KI-Agenten vorantreibt, die in virtuellen 3D-Umgebungen mit Menschen zusammenarbeiten und sie unterstützen können. Die vom Team von Facebook AI Research (FAIR) vorgestellte Plattform ermöglicht die realitätsgetreue Simulation menschlicher Avatare und die Interaktion zwischen Mensch und KI in Echtzeit über eine virtuelle Schnittstelle
Den Forschern zufolge zeichnet sich Habitat 3 durch seine Fähigkeit aus, vielfältige und realistische virtuelle Menschen zu erzeugen, die sich in Räumen bewegen und Objekte fast so schnell manipulieren können wie nicht-menschliche Agenten.
FAIR nennt es „eine Simulationsplattform zur Untersuchung kollaborativer Mensch-Roboter-Aufgaben in häuslichen Umgebungen“ und schreibt in einem begleitenden Forschungspapier, dass „Habitat 3.0 Beiträge in drei Dimensionen bietet“.
Das ultimative Ziel ist das, was Meta als „verkörperte KI“ bezeichnet, bei der die Technologie durch Wearables und Roboter eine aktive Rolle in der physischen Welt übernimmt.
Mit Habitat 3.0 hat Meta eine Plattform für das groß angelegte Training der Mensch-Roboter-Interaktion bei alltäglichen Aufgaben wie dem Aufräumen eines Wohnzimmers oder der Zubereitung einer Mahlzeit in der Küche entwickelt.
Quelle: Meta
Um diese kollaborativen KI-Fähigkeiten zu testen, entwickelte das Team zwei Arten von interaktiven Aufgaben: soziale Navigation, bei der ein Roboter einen Avatar finden und ihm folgen muss, und soziale Neuordnung, bei der ein Roboter und ein Avatar gemeinsam einen Raum aufräumen müssen. In ihren Experimenten stellten die Forscher fest, dass die virtuellen Roboter Richtlinien entwickelten und Verhaltensweisen erlernten, um effizient mit den Avataren zusammenzuarbeiten, z. B. indem sie ihnen beim gemeinsamen Navigieren Raum gaben. Die Experimente zur sozialen Neuordnung zeigten auch, dass erlernte Strategien die Arbeitseffizienz für unsichtbare Avatarpartner verbessern können.
„Wir haben seit der Freigabe von Habitat 1.0 im Jahr 2019 erhebliche Fortschritte auf dem Weg zu unserer Vision von sozial intelligenten Robotern gemacht“, so Meta in seiner Ankündigung. Es gibt jedoch noch viel zu tun, und Tools wie Habitat 3 können ein größeres Engagement in dieser wichtigen Forschungsrichtung fördern.
Für die Zukunft plant Meta, sich darauf zu konzentrieren, die in der Simulation erlernten Modelle in der realen Welt einzusetzen, damit wir ihre Leistung besser einschätzen können „
Ergänzend zu diesem Simulator gibt es den Habitat Synthetic Scenes Dataset (HSSD-200). Dieser von Künstlern erstellte 3D-Datensatz umfasst über 18 000 Objekte in 466 semantischen Kategorien in 211 Szenen. Mit diesem Tool könnten Navigationsagenten mit beispielloser Präzision trainiert werden, um eine realistischere Trainingsumgebung für Roboter zu schaffen.
Quelle: Meta
Meta stellte auch HomeRobot vor, eine weitere Plattform, die die Kluft zwischen Simulation und realer Welt überbrücken soll. HomeRobot ermöglicht es Robotern, Aufgaben sowohl in simulierten als auch in realen Umgebungen auszuführen.
Diese Fortschritte haben weitreichende Auswirkungen, insbesondere wenn man die langfristigen Ziele von Meta betrachtet. Das Metaverse, ein kollektiver virtueller gemeinsamer Raum, wird als Konvergenz von virtuell verbesserter physischer Realität und interaktiven digitalen Räumen vorgestellt. Mit Werkzeugen wie Habitat 3.0 verschwimmt die Grenze zwischen der digitalen und der physischen Welt, was ein intensiveres und interaktiveres Erlebnis ermöglicht.
Darüber hinaus zeigt sich Metas Engagement für KI in seinen erheblichen Investitionen in diesem Bereich. Der Tech-Gigant leistet einen führenden Beitrag zu Plattformen, die sich mit der Verarbeitung natürlicher Sprache befassen, und unterstreicht damit sein Engagement für die Weiterentwicklung dieses Bereichs. Sein LlaMA LLM treibt viele der derzeit verfügbaren Open-Source-LLMs an, und es ist das Unternehmen mit den meisten Commits für das Open-Source-KI-Projekt Hugging Face, gefolgt von Microsoft.
Habitat 3 verspricht, neue Forschungen zu unterstützenden KI-Agenten zu ermöglichen, die mit Menschen in virtuellen Welten zusammenarbeiten können, was der Vision von Meta für kollaborative KI in der erweiterten und virtuellen Realität entspricht. Die Möglichkeit, Strategien in einer realitätsnahen Simulation schnell zu iterieren und zu trainieren, bevor sie in der realen Welt eingesetzt werden, könnte die Entwicklung noch nützlicherer KI-Fähigkeiten beschleunigen
