在人工智能领域的竞争中，人们对 Meta 下一个大动作的好奇心达到了白热化。在七月份发布的 Llama 2 文本生成模型在市场上站稳脚跟后，人工智能观察家们正急切地寻找 Llama 3 的踪迹。
如果业内传言属实，那么这家开源技术巨头的续集可能会在 2024 年初问世。
Meta 还没有正式证实这一传言，但马克-扎克伯格（Mark Zuckerberg）最近对 Meta 的 LLM（大型语言模型）的未来发展作了一些说明，首先他承认 Llama 3 正在开发中。但他表示，新的底层人工智能模型仍处于次要地位，而当务之急仍然是对 Llama 2 进行微调，使其更加方便用户使用。
“我的意思是，我们总是在训练另一个模型，”他在一次关于人工智能与元宇宙之间的交叉点的播客采访中说，”我们训练了 Llama 2，并将其作为开源模型发布，现在的当务之急是将其构建到一些消费类产品中……
“但没错，我们也在开发未来的基金会模型，我没有这方面的新消息，”他接着说。”我不知道具体什么时候能准备好。
虽然 Meta 公司还没有正式证实这些传言，但开发周期中的模型和对硬件的大量投资都表明，该公司即将推出新产品。Llama 1 和 Llama 2 的训练间隔为 6 个月，如果保持这种节奏，新的 Llama 3（假定达到 OpenAI 的 GPT-4 水平）可能会在 2024 年上半年发布。
Reddit 用户 llamaShill 提供了对 Meta 历史模型开发周期的详细分析，增加了人们的猜测。
该用户认为，Llama 1 的培训从 2022 年 7 月持续到 2023 年 1 月，Llama 2 紧随其后，直到 2023 年 7 月，这就为 Llama 3 的培训从 2023 年 7 月到 2024 年 1 月创造了合理的条件。这些见解与 Meta 公司在人工智能领域不断追求卓越的叙述不谋而合，Meta 公司渴望展示它的下一个进步，它可以与 GPT-4 的能力并驾齐驱。
与此同时，科技论坛和社交媒体上充斥着关于新迭代产品如何恢复 Meta 竞争优势的讨论。技术社区还从零星的信息中总结出了一个可能的时间表。
在 Meta GenAI 社交会议上审核：
“我们对Llama 3和4进行了训练计算。计划是让 Llama-3 和 GPT-4 一样好。”
“哇，如果 Llama-3 和 GPT-4 一样好，你们会继续开源吗？”
“是的，我们会的。对不起，对齐人员。”
– jason (@agikoala) 2023年8月25日
再加上一点 Twitter 上的小道消息：据称是在 “Meta GenAI “社交聚会上听到的一段对话，后来被 OpenAI 研究员杰森-韦（Jason Way）发布到了 Twitter 上。”我们已经有了训练 Llama 3 和 4 的计算基础，”据韦说，一个身份不明的消息来源证实，它也将以开源方式提供。
与此同时，该公司与戴尔公司合作，为企业用户提供 Llama 2，强调了其对隐私控制和安全的承诺，此举既具有战略意义，又体现了时代特征。在Meta准备与OpenAI和谷歌等巨头一较高下之际，这一承诺至关重要。
Meta 还将人工智能融入其许多产品中，因此该公司加大力度以确保自己不会进一步落后也是合情合理的。Llama 2 为 Meta AI 以及 Meta 聊天机器人、Meta 生成服务和 Meta 人工智能眼镜等其他服务提供动力。
在这种猜测的漩涡中，马克-扎克伯格（Mark Zuckerberg）对 Llama 3 的开源性质的思考只会让人感到好奇和神秘。”扎克伯格在最近一次与计算机科学家莱克斯-弗里德曼（Lex Friedman）的播客节目中说：”我们需要一个过程来重新设计它，使它变得安全。
Llama 2 采用多层架构，提供 70 亿、130 亿和 700 亿个参数版本，每个版本适合不同的复杂程度和计算能力。LLM 中的参数作为神经构建模块，决定了模型理解和生成语言的能力，而参数的数量往往与模型结果的复杂性和潜在质量相关。
这个功能强大的人工智能模型是在一个包含 2 万亿个词库的庞大语料库中训练出来的，这也是其在广泛的主题和语境中浏览和生成类人文本的能力的基础。
图片由 Meta 提供
在背景中，硬件基础正在奠定。据 TCN 报道，Meta 正在为一个数据中心配备 Nvidia H100，这是最强大的人工智能训练硬件之一–这是一个明确的迹象，表明车轮已经启动。
然而，尽管人们兴奋不已，猜测不断，但事实真相仍被公司的神秘面纱所笼罩。
Meta 在人工智能领域的竞争意图主要取决于培训所需时间、硬件投资和开源问题。与此同时，人们的期待就像 2024 年可能发布的《Llama 3》一样强烈
。
