Nvidiaの研究者は、EurekaというAIエージェントのおかげで、ロボットの器用さを大きく飛躍させることに成功した。
木曜日に発表された論文で概説されたこの新しい技術は、OpenAIのGPT-4のような大規模言語モデルの最近の進歩に基づいている。Eurekaは生成AIを活用し、ロボットが試行錯誤の強化学習を通じて学習できるように、洗練された報酬アルゴリズムを自律的に記述する。このアプローチは、人間が作成したプログラムよりも50％以上効果的であることが証明されている、と論文は概説している。
「Eurekaはまた、四足歩行の器用な手、コボットアーム、その他のロボットに、引き出しを開けたり、ハサミを使ったり、ボールをキャッチしたり、約30種類のタスクを教えた」と、Nvidiaの公式ブログ投稿は述べている。
Eurekaは、言語モデルによるAIのステアリングにおけるNvidiaの先駆的な取り組みの最新のデモンストレーションである。最近、同社はSteerLMをオープンソース化した。SteerLMは、人間のフィードバックに基づいてAIアシスタントを訓練することで、より役立つようにAIアシスタントを調整する手法だ。
Eurekaと同様に、SteerLMも言語モデルの進歩を利用しているが、AIアシスタントの位置合わせを改善するという異なる課題に焦点を当てている。SteerLMは、ロボットが学習するように、会話練習をさせることでアシスタントを訓練する。システムは、アシスタントの応答について、親切さ、ユーモア、品質などの属性を通じてフィードバックを与える。
例えば、ロボットがダンスの良し悪しをラベル付けされた動画からダンスを学習するようなもので、人間が何千ものランダムなダンスを見て、どれが良いか悪いかを選択するのではない（一般的なAIチャットボットの学習方法である）。繰り返し練習し、フィードバックを得ることで、アシスタントはユーザーのニーズに合わせた応答を提供できるように学習する。これは、AIを実世界のアプリケーションにとってより有益なものにするのに役立つ。
共通しているのは、ロボットにせよチャットボットにせよ、創造的な新しい方法で高度なニューラルネットワークを使用していることだ。Nvidiaはハードウェアとソフトウェアの両面で限界に挑戦している。
Eurekaにとって重要なのは、アイザック・ジムのようなシミュレーション技術と、言語モデルのパターン認識能力を組み合わせることだった。エウレカは効果的に “学習するように学習 “し、何度もトレーニングを行うことで独自の報酬アルゴリズムを最適化する。報酬を改良するために人間の入力も受け入れる。
この自己改善アプローチは、これまでに非常に汎用性が高いことが証明されており、足、車輪、飛行、器用な手など、あらゆる種類のロボットをトレーニングすることができる。
NvidiaのEurekaとSteerLMは、単に障壁を打ち破っているだけでなく、ロボットとAIに繊細さと洞察に満ちたインタラクションの技術を教えている。ペンを走らせ、機知に富んだおしゃべりをするたびに、彼らはAIが模倣するだけでなく、私たちとともに革新する未来を描いている。
