Google LabsはAIツールGemini Proのメジャーアップグレードを発表した。これは、現在の主要ツールとその128Kの容量を埃の中に置き去りにする、前例のない「コンテキストサイズ」を提供する。
Gemini Pro v1.5へのアップグレードにより、理論的にはOpenAIの有償モデルGPT-4よりも700%強力になり、大規模言語モデル（LLM）の中で計算言語学と機械学習の新たなベンチマークとなる。
グーグルによれば、この数字は「あらゆる大規模基礎モデルの中で最も長いコンテキストウィンドウ」である。
「今日まで、公開されている大規模言語モデルの世界最大のコンテキストウィンドウは20万トークンでした。Google Labsチームは、「我々は、最大100万トークンを一貫して実行することで、これを大幅に増加させることができました。
この機能により、Gemini Proは、現在のGeminiのラインナップの中で最もパワフルなバージョンや、現在利用可能な他のLLMよりも高い能力を持つことになる。しかし、このコンテクストはテスト目的でオンライン化されたものであり、Gemini Proの次期安定バージョンは最大128Kトークンを扱う予定である。
このリリースは、Gemini 1.0が処理できる32,000トークンよりも大きなアップグレードとなるが、ユーザーは100万トークンがどのように処理できるかを確認するのを待つ必要がある。
この動きは、AI業界を支配する競争におけるグーグルの最新の攻勢である。先週、Gemini AdvancedはChatGPT Plusの最初の信頼できる競争相手となった。AnthropicのClaudeとは異なり、グーグルのチャットボットはマルチモーダルであり、さまざまなテストで良い結果を出し、OpenAIにはない一連の機能を提供している。
しかし、Gemini Advancedは、すでに128,000トークンを処理するGPT-4.5 Turboに追いつくだろう。
Gemini 1.5の多機能性は、いくつかのデモンストレーションを通じて鮮明に示された。グーグルは、「1時間のビデオ、11時間のオーディオ、30,000行以上のコードベース、70万語以上の単語など、膨大な量の情報を一度に処理できる」と述べた。
「我々の研究では、最大1000万トークンのテストにも成功しています」とチームは付け加えた。
。
1つの欠点がある： この欠点は、TCNがGeminiとChatGPTの比較で指摘している。
「専門家の混合」はここにとどまる
Gemini1.5とその前のバージョンとのもう一つの違いは、Mistral AIがより軽量なモデルを作るために使用したのと同じ技術であるMixture of Expertsの使用である。Mistral AIは、GPT 3.5を打ち負かし、オープンソースのLLMの中で上位に躍り出るほど強力だった。
Mixture of Expertsは）あなたのリクエストをより小さな “エキスパート “ニューラルネットワークのグループにルーティングするので、レスポンスはより速く、より高品質になります」とグーグルは発表の中で語っている。
ミストラルのように、グーグルは自社のモデルを輝かせることができた。Gemini 1.5 Proは、Gemini Ultra 1.0と比較して、いくつかのベンチマークで優れた性能を示し、グーグルのLLMの有望な将来を示唆した。
「1.5Proは、1.0 Ultraに匹敵する品質を達成しながら、より少ないコンピュートしか使用していません。
今回の発表では、Gemini Advanced 1.5のリリース時期については明らかにされていない。一方、OpenAIはGPT-5の開発を積極的に進めている。Geminiの強化されたトークン処理能力は、AI軍拡競争におけるグーグルの地位を強固なものにするだろう
。
