Meta 发布全新大型语言模型 LLaMA

2 月 27 日消息，Facebook 母公司 Meta 近日发布全新人工智能大型语言模型 LLaMA。LLaMA 模型由 Meta 的 FAIR 团队开发，旨在帮助研究人员和工程师探索人工智能应用和相关功能，在生成文本、对话、总结书面材料、证明数学定理或预测蛋白质结构等更复杂的任务方面“有很大的前景”。

LLaMA 模型接受了 20 种语言训练，包括拉丁语和西里尔字母语言，所需的计算能力远低于之前推出的大模型。另根据 Meta 官网发布的论文，LLaMA 目前包含 70 亿、130 亿、330 亿和 650 亿这 4 种参数规模的模型。其中，参数规模最小的 LLaMA 7 B 也经过了超 1 万亿个 tokens 的训练。Meta 表示，在大多数基准测试中，参数仅为十分之一的 LLaMA-13 B 的性能优于 OpenAI 推出的 GPT3 (175 B)，也即支持 ChatGPT 的 GPT3.5 的前身。LLaMA-65 B 也可与业内领先的 Chinchilla-70 B 和 PaLM-540 B 竞争。

Meta 发言人表示，LLaMA 目前尚未被应用在 Meta 的任何产品之中。Meta 计划将这项技术优先开放给 AI 研究人员。