在伦敦举行的一次备受瞩目的人工智能活动上，Meta 公司高管周二首次正式确认并详细介绍了即将发布的 Llama 3，这是公司开源大型语言模型的下一次迭代，备受期待。
“据 TechCrunch 报道，Meta 全球事务总裁尼克-克莱格（Nick Clegg）在伦敦 Meta AI 日上宣布：”我们希望在未来一个月内，甚至更短的时间内，开始推出我们新的下一代基础模型套件 Llama 3。
克莱格说，Llama 3由 “多种不同的模型组成，具有不同的功能和多样性”，将于今年开始推出。
一旦推出，Llama 3 预计将成为目前最先进的开源模型，Meta 将为其开发投入巨资。Meta 称，该模型使用 1400 亿个参数进行训练，是 Llama 2 的两倍。Meta 首席执行官马克-扎克伯格（Mark Zuckerburg）曾在 1 月份预告了一些技术细节。
“扎克伯格当时说：”我们正在建设大规模的计算基础设施，以支持我们未来的路线图，包括在今年年底前建成35万个H100–如果算上其他GPU，总体计算能力将达到近60万个H100。这一计算能力大大超过了 OpenAI 用来训练 GPT-4 的计算能力，据估计，训练 GPT-4 需要大约 25,000 个 GPU，耗时 90 到 100 天。
扎克伯格还透露，其人工智能助手 Meta AI 将由 Llama 3 驱动。
首席产品官克里斯-考克斯（Chris Cox）说，Llama 3 将被整合到 Meta 中。
“他说：”我们的计划是让 Llama 3 在我们的应用程序家族中为多个不同的产品和体验提供支持。
开源战略
Llama 3 的发布所产生的影响远远超出了 Meta，因为该公司的理念是致力于将其开发为开源模式，这与 OpenAI 和 ChatGPT 等竞争对手所采取的封闭式专有方法形成了鲜明对比。
通过开源其语言模型，Meta 旨在培育一个开放的人工智能开发生态系统，并将 Llama 系列定位为第三方开发者和研究人员创建的各种工具和应用的基础。
“Meta公司人工智能研究主管Yann LeCun上个月在推特上写道：”认识到创新总是建立在他人先前贡献的基础上，有时甚至是非常相似的贡献，这一点非常重要。”这就是开放研究如此重要的原因：它让每个人都能更快地推动这一领域的发展。”
从远处看，创新就像是从真空中自发出现的。
但重要的是要认识到，创新总是建立在他人先前的贡献之上，有时甚至是非常相似的贡献。
这就是开放式研究如此重要的原因：它让这个领域…… https://t.co/JMvQD2h5OZ– Yann LeCun (@ylecun) 2024年3月20日
。
∮
∮
这种开放的精神已经催生了一个充满活力的社区，围绕着 Llama 展开。当今一些最先进的开源语言模型，如 Mistral、Falcon 和 Beluga，都是通过微调早期的 Llama 2 基础模型而构建的。其中几个社区模型在某些基准测试中的表现已经达到或超过了 GPT-3.5。
作为另一个开源基础模型，Llama-3 的发布很可能为新一代 LLM 铺平了道路，这些 LLM 将在人工智能的质量和效率方面树立更高的标杆。
呃，我认为开源将赶上或超过今年。pic.twitter.com/y99qKJ2iKF
– Ryan Casey (@ryansweb) 2024年1月1日
。
挑战 OpenAI 的主导地位
Llama 3 的开源前提对 OpenAI 目前的市场主导地位构成了多层次的严峻挑战，并进而对克劳德（Claude）和双子座（Gemini）等其他专有模型构成了挑战。
开源社区很快就能在 Llama 3 的基础上进行快速迭代，以达到或超过 GPT-4 的能力–就像他们对 GPT-3.5 所做的那样。由于各贡献者共享较低的训练成本，开放生态系统可以超越 OpenAI 的专有模型开发，因为后者需要大量的计算资源和成本。
如果开源产品定期实现与商业产品的平价，企业可能会倾向于像 Llama 这样更容易获得、更具成本效益的生态系统，而不是依赖 OpenAI 并为其付费。目前，就每个代币的成本而言，GPT-4 是市场上最昂贵的模型。
此外，随着越来越多的人参与其中，开源社区也越来越强大。庞大的社区在该模型的基础上进行构建、微调、开发新技术，并免费对其进行改进，这让 Meta 受益匪浅。这使得 Meta 能够更容易地开发出更好的模型版本，同时通过其他方案（如授权大型企业用于商业用途）实现盈利。
换句话说，持续的惯性和网络效应会使 OpenAI 的专有模型在未来更难吸引用户和客户。
可以肯定的是，OpenAI 目前在盈利能力方面遥遥领先。Anthropic 拥有人工智能领域表现最好的 LLM。但是，Llama 3 将代表 Meta 为颠覆生成式人工智能格局而进行的又一次战略打击。
当然，这在很大程度上取决于 Llama 3 在未来一年的实际表现和采用情况。不过，开源人工智能社区相当活跃–他们已经爱上了 Llama-2。在接下来的几个月里，事情会变得非常有趣，尤其是 OpenAI 的 GPT-5 即将到来。
