De nieuwe techniek, beschreven in een paper dat donderdag is gepubliceerd, bouwt voort op recente vooruitgang in grootschalige taalmodellen zoals OpenAI’s GPT-4. Eureka gebruikt generatieve kunstmatige intelligentie om autonoom geavanceerde beloningsalgoritmen te schrijven waarmee robots kunnen leren door middel van ‘reinforcement learning’ via trial-and-error. Het is aangetoond dat deze aanpak meer dan 50% effectiever is dan door mensen gemaakte programma’s, aldus het artikel.
“Eureka leerde ook viervoeters, behendige handen, kobo-handen en andere robots om laden te openen, scharen te gebruiken, ballen te vangen en bijna 30 verschillende taken”, zo staat te lezen in de officiële blogpost van Nvidia.
Eureka is het nieuwste voorbeeld van Nvidia’s baanbrekende werk in het aansturen van AI met taalmodellen. Het bedrijf onthulde onlangs SteerLM, een methode die AI-assistenten aanpast om nuttiger te zijn door ze te trainen op basis van menselijke feedback.
Net als Eureka maakt SteerLM gebruik van de vooruitgang in taalmodellen, maar richt het zich op een andere taak – het verbeteren van de matching van AI-assistenten. SteerLM traint assistenten door ze gesprekken te laten oefenen, net zoals een robot leert door te doen. Het systeem geeft feedback over de antwoorden van de assistent door middel van kenmerken zoals behulpzaamheid, humor en kwaliteit.
Het is bijvoorbeeld alsof een robot leert dansen op basis van video’s die als goed of slecht zijn gemarkeerd, in plaats van dat een mens duizenden willekeurige dansen bekijkt en uitzoekt welke goed zijn en welke niet (zoals typische AI-chatbots worden getraind). Door herhaaldelijk te oefenen en feedback te krijgen, leren assistenten antwoorden te geven die zijn afgestemd op de behoeften van de gebruiker. Dit maakt AI nuttiger voor echte toepassingen.
Een gemeenschappelijk kenmerk is het gebruik van geavanceerde neurale netwerken op nieuwe en creatieve manieren, of het nu gaat om het onderwijzen van robots of chatbots. Nvidia verlegt de grenzen in zowel hardware als software.
Voor Eureka was de combinatie van simulatietechnologieën zoals die van Isaac Gym met de patroonherkenningsmogelijkheden van taalmodellen van groot belang. Eureka “leert om te leren” en optimaliseert zijn eigen beloningsalgoritmen gedurende meerdere trainingsruns. Het accepteert zelfs menselijke input om zijn beloningen te verbeteren.
Deze zelfverbeterende aanpak heeft tot nu toe bewezen zeer generaliseerbaar te zijn, waardoor het allerlei soorten robots kan trainen – robots met poten, wielen, vliegen en behendige handen.
Nvidia’s Eureka- en SteerLM-systemen overwinnen niet alleen barrières, maar leren robots en AI de kunst van subtiele en inzichtelijke interactie. Met elke pennenstreek en geestige conversatie schetsen ze een toekomst waarin AI niet alleen nabootst, maar samen met ons innoveert.
