マイクロソフトは、ChatGPTのような大規模な言語モデルを、より効率的で人間のような推論能力を持つように設計された、”思考のアルゴリズム”（AoT）と呼ばれる新しいAIトレーニング方法を発表した。
この新しいアプローチは、AI、特にDALL-E、ChatGPT、そして強力なGPT言語モデルを開発したOpenAIに多大な投資を行ってきた同社にとって、自然な次のステップである。
発表された研究論文によると、AoT技術は「言語モデルをより合理的な問題解決経路に導く」もので、ゲームチェンジャーとなる可能性があるとマイクロソフトは述べている。この斬新なアプローチは「文脈内学習」を利用し、モデルが体系的に組織化された方法でさまざまな解決策を探索することを可能にする。
その結果は？より速く、より少ないリソースで問題を解決することができる。
「我々の手法は、これまでの単一クエリ手法を凌駕し、広範なツリー探索を採用した最近の複数クエリ手法と同等である。「興味深いことに、我々の結果は、アルゴリズムでモデルを指示することで、アルゴリズムそのものを凌駕するパフォーマンスが得られることを示唆している」
。
研究者らは、この手法によって探索プロセスが最適化されると、モデルは「直感」が向上すると主張している
。
人間とアルゴリズムのハイブリッド？
AoT手法は、「Chain-of-Thought」（CoT）手法のような現在の文脈内学習手法の限界に対処するものである。CoTは時に誤った中間ステップを提供することがあるが、AoTはアルゴリズムの例を用いてモデルを導き、より信頼性の高い結果を得ることができる。
AoTは、生成AIモデルのパフォーマンスを向上させるために、人間と機械の両方からインスピレーションを得る。人間が直感的な認知を得意とするのに対し、アルゴリズムは組織的で網羅的な探索を行うことで知られている。研究論文によると、Algorithm of Thoughtsは、「LLMの推論能力を強化するために、これらの2つの側面を融合させる」ことを目指している。
マイクロソフト社によれば、このハイブリッド技術により、人間のワーキングメモリーの限界を克服し、より包括的なアイデアの分析が可能になるという。
CoTの線形推論や “思考の木”（ToT）技術とは異なり、AoTは、最小限のプロンプトで有効性を維持しながら、サブ問題に対するさまざまな選択肢を柔軟に熟考することができる。また、外部のツリー探索ツールに匹敵し、効率的にコストと計算のバランスをとることができる。
思考のアルゴリズムと他のAI推論手法の比較。画像： Microsoft
全体として、AoTは教師あり学習から、探索プロセスそのものを統合することへのシフトを表している。プロンプトエンジニアリングに改良を加えることで、このアプローチは複雑な実世界の問題を効率的に解決し、同時に二酸化炭素への影響も軽減できると研究者たちは考えている。
AIへの多大な投資を考えると、マイクロソフトはGPT-4のような先進的なシステムにAoTを組み込むのに有利な立場にあると思われる。困難ではあるが、言語モデルにこのようなより人間的な方法で「考える」ことを教えることは、変革をもたらすかもしれない
。
