Metaの次の大きな一手に対する好奇心は、人工知能を支配する競争において熱を帯びてきている。7月にリリースされた生成テキストモデル「Llama 2」が市場に定着したことで、AIウォッチャーはLlama 3の兆候を貪欲に探し求めている
。
業界の囁きを信じるなら、技術界の巨人がオープンソースの成功の続編を2024年初頭に発表するかもしれない。
メタ社はこの噂を公式には確認していないが、マーク・ザッカーバーグは最近、メタ社のLLM（大規模言語モデル）の将来について、Llama 3が開発中であることを認めることから始めて、いくつかの光を当てた。しかし彼は、Llama 2をより消費者に使いやすいものに微調整することを優先する一方で、新しい基礎的なAIモデルはまだ後回しになっていると述べた
。
「つまり、私たちは常に別のモデルをトレーニングしているのです」と、AIとメタバースとの接点に焦点を当てたポッドキャスト・インタビューで彼は語った。「私たちはLlama 2をトレーニングし、オープンソースモデルとしてリリースしました。
「でも、そうだね、将来のファンデーションモデルにも取り組んでいて、それについては新しい情報やニュースはないんだ」と彼は続けた。”いつ完成するのか正確にはわからない。”
Metaはこの噂を公式には確認していないが、開発サイクルのパターンや多額のハードウェア投資は、発売が間近に迫っていることを示唆している。Llama 1とLlama 2は6ヶ月間隔でトレーニングを行っており、このサイクルが維持されるなら、OpenAIのGPT-4と同等とされる新しいLlama 3は2024年前半に発売される可能性がある。
RedditユーザーのllamaShillは、Metaの過去のモデル開発サイクルを包括的に分析している。
ラマ1の訓練は2022年7月から2023年1月までで、ラマ2は2023年7月まで続き、ラマ3の訓練は2023年7月から2024年1月までとするのが妥当であるとしている。これらの洞察は、絶え間なくAIの卓越性を追求し、GPT-4の能力と肩を並べることができる次の進化を披露することを熱望しているメタの物語と一致している
。
一方、技術フォーラムやソーシャルメディアは、この新しいイテレーションがメタの競争力をどのように再確立するかについての議論で盛り上がっている。技術コミュニティはまた、入手可能な情報の断片から可能性の高いタイムラインをつなぎ合わせている
。
メタGenAIソーシャルで耳にしたこと：
「私たちはラマ3とラマ4を訓練するためのコンピュータを持っています。Llama-3はGPT-4と同程度になる予定です」。
「Llama-3がGPT-4と同じくらいになったら、オープンソースにするんですか？
「ええ、そうします。アライメントの皆さん、ごめんなさい」
– jason (@agikoala) 2023年8月25日
」。
MetaGenAI “の交流会で耳にしたとされる会話で、後にOpenAIの研究者ジェイソン・ウェイがツイートしたものである。
一方、デル社との提携は、企業ユーザー向けにLlama 2をオンプレミスで提供するもので、個人データの管理とセキュリティに対する同社のコミットメントを示すものであり、戦略的かつ時代を反映した動きである。メタ社は、OpenAIやGoogleのような巨大企業と対決する準備を整えており、このコミットメントは非常に重要である。
Meta社もまた、多くの製品にAIを導入しており、時代に取り残されないようにすることは理にかなっている。Llama 2は、MetaのAIや、Metaのチャットボット、Metaのジェネレーティブ・サービス、MetaのAIメガネなど、その他のサービスを動かしている。
このような憶測が渦巻く中、マーク・ザッカーバーグはLlama 3のオープンソース化について、興味と謎をかき立てるような発言をしている。ザッカーバーグは、コンピューター科学者レックス・フリードマンとの最近のポッドキャストで、「我々はこれをレッドチーム化し、安全にするプロセスが必要だ」と語った。
Llama 2は、70億、130億、そして強固な700億のパラメータを提供するバージョンを持つ多層アーキテクチャを誇り、それぞれが様々なレベルの複雑さと計算能力に適している。LLMのパラメータは、モデルの言語理解・生成能力を定義する神経構成ブロックとして機能し、パラメータ数はモデルの洗練度と潜在的な出力品質に相関することが多い。
この強力なAIは、2兆トークンの膨大なコーパスで訓練されており、幅広い主題や文脈にわたって人間のようなテキストをナビゲートし、生成する能力を支えている
。
画像提供：Meta
その背景には、ハードウェアの土台作りもある。TCNが報じたように、メタ社はデータセンターにAIトレーニング用の最も強力なハードウェアのひとつであるNvidia H100をストックしている。
しかし、興奮と憶測の割には、真実は企業秘密のベールに包まれたままだ。
AI分野で競合するメタ社の意図は、必要なトレーニング時間、ハードウェアへの投資、オープンソースに関する質問によって大きく左右される。その一方で、2024年にラマ3がリリースされる可能性が高いのと同様に、期待は膨らんでいる。
