La nuova tecnica, descritta in un documento pubblicato giovedì, si basa sui recenti progressi dei modelli linguistici su larga scala, come il GPT-4 di OpenAI. Eureka utilizza l’intelligenza artificiale generativa per scrivere autonomamente sofisticati algoritmi di ricompensa che consentono ai robot di apprendere attraverso il rinforzo per tentativi ed errori. Secondo l’articolo, questo approccio è risultato più efficace di oltre il 50% rispetto ai programmi creati dagli esseri umani.
“Eureka ha anche insegnato a quadrupedi, mani agili, mani Kobo e altri robot ad aprire cassetti, usare forbici, prendere palline ed eseguire quasi 30 compiti diversi”, si legge sul blog ufficiale di Nvidia.
Eureka è l’ultimo esempio del lavoro pionieristico di Nvidia nel controllo dell’intelligenza artificiale tramite modelli linguistici. L’azienda ha recentemente presentato SteerLM, un metodo che personalizza gli assistenti AI per renderli più utili, addestrandoli sulla base di commenti umani.
Come Eureka, SteerLM sfrutta i progressi dei modelli linguistici, ma si concentra su un compito diverso: migliorare l’adeguatezza degli assistenti AI. SteerLM addestra gli assistenti facendoli esercitare nelle conversazioni, proprio come un robot impara facendo. Il sistema fornisce un feedback sulle risposte dell’assistente in base a caratteristiche quali utilità, umorismo e qualità.
Per esempio, è come se un robot imparasse a ballare da video etichettati come buoni o cattivi, piuttosto che un umano che guarda a caso migliaia di balli e determina quali sono buoni e quali cattivi (come sono addestrati a fare i tipici chatbot AI). Grazie alla pratica ripetuta e al feedback, gli assistenti imparano a dare risposte adeguate alle esigenze dell’utente. Questo rende l’IA più utile per le applicazioni del mondo reale.
Una caratteristica comune è l’uso di reti neurali avanzate in modi nuovi e creativi, sia che si tratti di robot didattici che di chatbot. Nvidia sta spingendo i confini sia nell’hardware che nel software.
Per Eureka, la combinazione di tecnologie di simulazione come Isaac Gym con capacità di riconoscimento dei modelli vocali è stata fondamentale. Eureka “impara a imparare” e ottimizza i propri algoritmi di ricompensa nel corso di numerose sessioni di allenamento. Accetta persino l’intervento umano per migliorare le sue ricompense.
Questo approccio di auto-miglioramento si è dimostrato finora molto generalizzabile, consentendo di addestrare tutti i tipi di robot: robot con gambe, ruote, volanti e mani agili.
I sistemi Eureka e SteerLM di Nvidia non solo superano gli ostacoli, ma insegnano anche ai robot e all’intelligenza artificiale l’arte dell’interazione sottile e percettiva. Con ogni tratto di penna e ogni conversazione spiritosa, stanno progettando un futuro in cui l’IA non si limita a imitare, ma innova insieme a noi.
