Die neue Technik, die in einem am Donnerstag veröffentlichten Artikel beschrieben wird, baut auf den jüngsten Fortschritten bei groß angelegten Sprachmodellen wie dem GPT-4 von OpenAI auf. Eureka nutzt generative künstliche Intelligenz, um selbstständig ausgeklügelte Belohnungsalgorithmen zu schreiben, die es Robotern ermöglichen, durch Verstärkung mittels Trial-and-Error zu lernen. Dieser Ansatz war laut dem Artikel um mehr als 50 % effektiver als von Menschen erstellte Programme.
„Eureka hat außerdem Vierbeinern, flinken Händen, Kobo-Händen und anderen Robotern beigebracht, Schubladen zu öffnen, Scheren zu benutzen, Bälle zu fangen und fast 30 verschiedene Aufgaben zu erledigen“, heißt es im offiziellen Blog von Nvidia.
Eureka ist das jüngste Beispiel für Nvidias Pionierarbeit bei der Steuerung von KI mithilfe von Sprachmodellen. Das Unternehmen hat kürzlich SteerLM vorgestellt, eine Methode, die KI-Assistenten anpasst, um sie nützlicher zu machen, indem sie sie auf der Grundlage von menschlichen Kommentaren trainiert.
Wie Eureka nutzt SteerLM die Fortschritte bei den Sprachmodellen, konzentriert sich aber auf eine andere Aufgabe: die Verbesserung der Angemessenheit von KI-Assistenten. SteerLM trainiert die Assistenten, indem es sie Konversationen üben lässt, so wie ein Roboter durch Tun lernt. Das System gibt anhand von Merkmalen wie Nützlichkeit, Humor und Qualität Feedback zu den Antworten des Assistenten.
Es ist zum Beispiel so, als würde ein Roboter anhand von Videos, die als gut oder schlecht markiert sind, tanzen lernen, anstatt dass ein Mensch sich wahllos Tausende von Tänzen ansieht und feststellt, welche gut und welche schlecht sind (wie typische KI-Chatbots darauf trainiert werden). Durch wiederholtes Üben und Feedback lernen die Assistenten, Antworten zu geben, die auf die Bedürfnisse des Nutzers zugeschnitten sind. Dadurch wird die KI für Anwendungen in der realen Welt nützlicher.
Ein gemeinsames Merkmal ist die Verwendung fortschrittlicher neuronaler Netze auf neue und kreative Weise, egal ob es darum geht, Roboter oder Chatbots zu unterrichten. Nvidia verschiebt die Grenzen sowohl bei der Hardware als auch bei der Software.
Für Eureka war die Kombination von Simulationstechnologien wie Isaac Gym mit den Fähigkeiten zur Erkennung von Sprachmustern ausschlaggebend. Eureka „lernt zu lernen“ und optimiert seine eigenen Belohnungsalgorithmen im Laufe zahlreicher Trainings. Es akzeptiert sogar menschliche Eingriffe, um seine Belohnungen zu verbessern.
Dieser Ansatz der Selbstverbesserung hat sich bislang als sehr verallgemeinerungsfähig erwiesen, sodass er alle Arten von Robotern trainieren kann – Roboter mit Beinen, Rädern, fliegenden und flinken Händen.
Die Eureka- und SteerLM-Systeme von Nvidia überwinden nicht nur Hindernisse, sondern bringen Robotern und KI auch die Kunst der subtilen und scharfsinnigen Interaktion bei. Mit jedem Federstrich und jeder geistreichen Konversation entwerfen sie eine Zukunft, in der die KI nicht nur nachahmt, sondern gemeinsam mit uns innovativ ist.
