Meta 发布大型语言模型 LLaMA，比 GPT3.5 性能更高

发布时间：2023-03-10

品玩2月26日讯，据 entrepreneur 报道，Facebook 母公司 Meta 近日发布全新人工智能大型语言模型 LLaMA。

据悉，LLaMA 模型由 Meta 的FAIR 团队开发，旨在帮助研究人员和工程师探索人工智能应用和相关功能，在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面“有很大的前景”。LLaMA 模型接受了20种语言训练，包括拉丁语和西里尔字母语言，所需的计算能力远低于之前推出的大模型。

另根据Meta官网发布的论文，LLaMA目前包含70亿、130亿、330亿和650亿这4种参数规模的模型。其中，参数规模最小的LLaMA 7B也经过了超1万亿个tokens的训练。Meta表示，在大多数基准测试中，参数仅为十分之一的LLaMA-13B的性能优于OpenAI推出的GPT3(175B)，也即支持ChatGPT的GPT3.5的前身。LLaMA-65B也可与业内领先的Chinchilla-70B和PaLM-540B竞争。

Meta发言人表示，LLaMA目前尚未被应用在 Meta 的任何产品之中。Meta 计划将这项技术优先开放给 AI 研究人员。

Meta在去年5月曾推出一款面向研究人员的名为OPT-175B的大型语言模型，去年年底还发布过另一款模型Galactica，但后者被发现经常分享有偏见或不准确的信息，在48小时内被迅速下架。

来源：品玩