- A+
编译:DeFi 之道
![不做 ChatGPT killer,Meta 的大型语言模型 LLaMA 或派上更大用场](https://www.luyuan.io/wp-content/uploads/2023/03/Frss_dZTDpHcNkrOyU59jeo8jRSq.jfif_.jpg)
图片来源:由 Maze AI 生成
在过去几年中,大型语言模型(LLMs)在科技行业掀起了一场风暴。这些在海量数据上训练出来的语言模型可以完成各种任务,从总结文本和写诗这样的基本任务到生成人工智能(AI)艺术提示词甚至预测蛋白质结构这样更具挑战性的任务。
OpenAI 的 ChatGPT 是目前这类 LLM 最大和最知名的例子之一。使用生成性预训练转化器(Generative Pre-trained Transformer 3,GPT-3)的 ChatGPT 是一个基于对话的 AI 聊天界面,可以与人交谈,编写代码,回答问题,甚至解决具有挑战性的数学方程式。即使是其他科技巨头,如谷歌和微软,在发布他们的语言模型(如 BARD 和 Bing)时也还没有激起任何水花。
学术界普遍认为,在训练包含近 10 亿个参数的 LLM 时,增加更多的参数可以提高性能。最近的研究表明,在特定的训练计算预算下,相较于最大的模型,基于更多的数据训练的小模型会产生最好的性能。推理预算是另一个关键参数,对于获得理想的性能程度至关重要。尽管训练一个大的模型以达到一定的性能水平可能会更便宜,但训练时间较长的小模型最终在推理方面所需的成本更低。在某些情况下,理想的模型不是训练最快的模型,而是推理最快的模型。
为了在竞争激烈的生成式 AI 模型竞赛中崭露头角,Facebook 的母公司 Meta 推出了其 AI 语言模型系列 LLaMA。这项工作旨在开发几种在不同推理预算下表现最佳的语言模型,激励 AI 社区开展研究,创造更负责任的语言模型。
在以前,接触到这种语言模型是昂贵和有限制的,因为它们经常需要服务器来运行。但有了 LLaMA,Meta 的目标正是为研究人员解决这个问题。Meta 表示,LLaMA 仅在公开可用的数据上进行训练,其性能超过了目前已经投入使用的更大的 AI 模型,包括 OpenAI 的老式 GPT-3 模型。在发布 LLaMA 上,Meta 对外展示了一个事实:不借助于专有的和不可获取的数据集就能训练最先进的模型。
Meta 已经开源了 LLaMA,希望这些模型能够让更多人用上并能够研究 LLM,因为它们可以在单个 GPU 上运行。这将使研究人员能够更彻底地理解 LLMs,并减少其他已知的问题,包括偏见、恶意信息和传播错误信息的可能。有关这个语言模型集合的另一个有趣的方面是,与 ChatGPT 和 Bing 等其他语言模型相比,LLaMA 是专门用于研究目的的,并在 "非商业许可" 下分发。目前,各种学术研究人员、政府、大学和其他学术机构都可以访问。
LLaMA 可以像其他 AI 驱动的聊天机器人一样,从文本输入提示词中产生类似人类的对话。有四种不同的模型,参数范围从 70 亿到 650 亿。与 OpenAI 早期的 GPT-3 模型相比,它几乎小了十倍。只有来自各个领域的、已经被用来训练其他 LLM 的公开可访问数据被用来训练这一系列基础模型。这使得这些模型更容易被开源。English CCNet、C4、GitHub、Wikipedia、Books、ArXiv 和 Stack Exchange 是用来训练 LLaMA 的一些数据源。Transformer 设计是 LLaMA 的基础,在过去几年中取得了进一步的进步。Meta 的研究人员使用标准 Transformer 在大量文本数据上训练大型 Transformer。
在最小的模型,即 LLaMA-7 B 的训练中使用了一万亿个 token(标注)。另一方面,像 LLaMA-33 B 和 LLaMA-65 B 这样具有较大参数的模型在 1.4 万亿个 token 上进行了训练。研究人员使用各种基准评估了他们的一系列基础模型,包括 BoolQ、WinoGrande、OpenBookQA、NaturalQuestions、RealToxicityPrompts、WinoGender 等。研究人员的两个最重要的发现是,LLaMA-13 B 模型,即第二小的版本,在大多数基准上都优于老的 GPT-3 模型,而且 LLaMA-65 B 模型与目前一些最好的模型相比具备竞争力,包括 DeepMind 的 Chinchilla-70 B 和谷歌的 PaLM-540 B 模型。
简而言之,Meta 为希望推进 LLM 研究并提高其鲁棒性的研究人员发布了一系列新颖的、最先进的 AI LLMs,名为 LLaMA。研究人员发现,在未来工作时,对这些模型进行指令微调会带来积极的结果。研究人员将对此进行进一步调查。为了提高性能,Meta 还寻求部署更大的模型,这些模型是在更大量的语料上训练出来的。
本文是全系列中第74 / 204篇:chatGPT
- ChatGPT引发AI人才战,大厂点名“就要OpenAI的华人,薪资不设限”
- OpenAI 再丢“王炸”:ChatGPT “封印”解除,能联网、搜索了!
- 重磅!微软开源Deep Speed Chat,人人拥有ChatGPT!
- ChatGPT流量见顶,AI革命中道崩殂?或许是OpenAI在下一盘大棋
- 当大厂程序员已开始用AI写代码 人类会被AIGC淘汰吗?
- 苹果AR眼镜跳票,国货能否异军突起?
- ChatGPT获得“正经编制”,国际预科生写论文用它不算作弊!
- 中国版ChatGPT项目“文心一言”将于3月面世,百度能否趁势“狂飙”?
- 微软AI全家桶上新啦!GPT-4进军程序员大本营GitHub
- 人工智能会取代人类主宰战场吗?从ChatGPT看人工智能的军事应用
- 知乎CEO周源:密切关注ChatGPT发展,AI能让内容更快推广
- 不只是聊天机器人:一文梳理 ChatGPT 带来的真正影响
- 记者试用新 Bing 后感慨:搜索从此不一样了
- 关于ChatGPT,黄仁勋和OpenAI联合创始人进行了一场“炉边谈话”
- 欧盟委员会对 ChatGPT 的最新监管方向
- ChatGPT-4 本周降临:它将如何影响 Web3?
- 旧金山出现“脑谷”,ChatGPT掀起美国初创企业AI热潮
- 小冰CEO李笛:“按ChatGPT模式做AI,我们一天成本要3亿”
- ChatGPT之父撰文:《万物摩尔定律》出现,这场革命将创造惊人的财富
- AI搜索大战打响!微软官宣ChatGPT引入Bing 生成式AI能否帮助巨头走出泥潭?
- 如何投出一个百亿美金的 ChatGPT 独角兽
- ChatGPT引爆新一轮科技军备赛
- AIGC生成图像加速度,百亿赛道将开启
- 国产ChatGPT扎堆,又是一场元宇宙式狂欢?
- 美国宾州大学教授体验 Bing AI 有感:生成式 AI 的改进速度超乎预料,但我们还没准备好
- ChatGPT“变现”在即,哪些法律风险不容忽视?
- ChatGPT开始被“疯狂吐槽”了
- 市值=2个茅台=5个英特尔,ChatGPT浪潮下英伟达“赢麻了”
- 微软“核弹级”更新:ChatGPT亮相Bing搜索和浏览器,今天上线,免费使用
- 元宇宙规模化商用仍未落地,ChatGPT或难续写新故事
- 独游制作人都在怎样用AI辅助开发游戏?
- 放下骄傲!微软是如何豪赌OpenAI的
- ChatGPT的前世今生:OpenAI的技术「执拗」与「豪赌」
- 卖账号、赚打赏,他们用 ChatGPT 搞钱
- ChatGPT来袭,元宇宙将迎新契机?
- 拥抱人工智能!微软将在Azure云服务中加入AI机器人ChatGPT
- ChatGPT“狂飙”:风浪越大,鱼越贵
- 没有对标ChatGPT产品,苹果内部AI峰会被指更像“团建”
- 为了 ChatGPT,微软抛弃元宇宙?
- AIGC制作的“视觉大片”走红!耗时仅3天,首批玩家吃到“红利”了
- 五个星期“周游”全球22国 “ChatGPT之父”究竟收获了什么?
- Roblox CTO 谈生成式 AI(Generative AI):彻底改变平台创作,让所有用户都成为创作者
- 从作弊工具到教学利器:教育工作者对生成式 AI 的观念转型
- 麻省理工称AI改变教育,日本拟制定ChatGPT学校运用指南
- 6天,50万!ChatGPT App 下载量远超美国 iOS 新应用的 99.99%
- ChatGPT版微信个人号搭建流程
- ChatGPT成科技圈的“新贵”,谁还记得元宇宙?
- OpenAI联合创始人:自动驾驶和VR都是“歧途” AI智能体才是未来
- 用户生成收藏(UGC 2.0)崛起:创作者正从四大领域获得赋能
- GPT-5年底上线?初创公司Runway CEO再爆料:OpenAI员工相信GPT-5有望成AGI
- 微信接入ChatGPT,使用Node+ChatGPT+Wechaty做一个微信机器人
- OpenAI造就硅谷新“黑帮”:ChatGPT爆火背后的神秘大佬、技术版图和资本故事
- 取代岗位 vs 创造就业:AI 会是“白领”终结者吗?
- ChatGPT后下一个AI爆款应用是什么?硅谷All In“自动AI智能体”
- 人类生成 or 机器生成?ChatGPT 引发了一场真假辩论
- 盖茨再谈ChatGPT:AI能提高效率,但要考虑边界在哪
- 第一批因ChatGPT坐牢的人,已经上路了
- GPT、DALL·E、Sora,为什么 OpenAI 可以跑通所有 AGI 技术栈?
- ChatGPT:是平台的缪斯还是黑客的「MOSS」?
- 11款值得收藏的 AI 工具
- 搜索大变天!谷歌推出Bard对抗ChatGPT,打响保卫战
- 突发!ChatGPT 紧急暂停 Bing 集成,下线搜索功能
- 在微信上搭建ChatGpt机器人
- 重磅!GPT-4 API,全面开放使用!
- 开局打爆谷歌,微软ChatGPT版必应亲测:强到发指!
- 美国监管机构首次正式调查ChatGPT!FTC朝OpenAI“开火”
- ChatGPT 限流,生成式大模型触碰算力天花板?
- OpenAI给科技行业敲响警钟,中国必须要有自主“大模型”
- chatGPT本地化搭建服务,一键免费部署你的私人 ChatGPT 网页应用。
- ChatGPT:本地环境搭建chatgpt、调试运行、接口API调用
- 复旦教授肖仰华:ChatGPT代码解释器是里程碑意义的成就
- 不写代码、靠“玩”ChatGPT年入百万,提示工程师正变成硅谷新宠
- 将ChatGPT集成在汽车中,全球首个车载语音GPT发布!
- 不做 ChatGPT killer,Meta 的大型语言模型 LLaMA 或派上更大用场
- 砸下677亿,微软盯上ChatGPT
- ChatGPT爆火的冷思考:盈利难题与治理挑战
- 数字媒体怎么用ChatGPT赚钱?Buzzfeed推了款收费的测试产品
- ChatGPT访问量增速下滑引担忧,专家提醒警惕泡沫化风险
- 马斯克要告微软,拒绝AI训练“白嫖”数据
- a16z:巨额计算成本压力下,不同企业该如何选择 AI 基础设施?
- AI大模型“无米下锅”?合成数据多重优势凸显,硅谷巨头正加速布局
- 谁在反对ChatGPT?
- 更快、更便宜!Sam Altman最新访谈透露OpenAI下一步计划,目前GPU短缺是最大瓶颈
- 竞品还在追赶,OpenAI 用 GPT-4 飚赢自己
- 我用 ChatGPT 搞钱,月赚 10 万
- 小冰CEO李笛:别神话ChatGPT,创业公司还玩不转
- 关于GTP-4,这是14个被忽略的惊人细节!
- OpenAI大动作!ChatGPT开始联网 一夜之间从工具进化成平台?
- 如何用ChatGPT帮你投资?这家美国平台打造出一款神奇“AI投顾”……
- chatgpt是什么?可以提供哪些服务,用户该怎样使用chatgpt(附Chat GPT注册教程)
- 大厂火拼ChatGPT
- ChatGPT这么牛,我们应该如何兼顾发展和治理?
- AIGC如何成为元宇宙神助攻?
- 从GPT-4、文心一言再到Copilot,AIGC的长期价值被逐渐确立
- ChatGPT可能马上取代你!这是它能做的十个工作
- 生成 AI 的下一步发展是多模型吗?
- 麦肯锡:ChatGPT 等生成式 AI 技术将如何改变企业?
- 前Google科学家李志飞劝各位冷静点:通用大模型不一定适合所有人,包括大佬们
- 王兴“会师”王慧文,要联手造ChatGPT版“美团”?
- 又一中文版ChatGPT!李开复宣布筹组AI新公司“Project Al 2.0”
- 资本观望,大厂入局,海外大模型血脉压制…… 国内AIGC创业者的机会在哪里?
- GPT现状终于有人讲清楚了!OpenAI大牛最新演讲爆火,还得是马斯克钦点的天才
- ChatGPT 两个月引爆万亿新赛道,国内外有哪些 AI 玩家能突出重围?
- 疯狂三月:一场ChatGPT引发的千亿“钞”能力竞赛
- 一天现六个国产ChatGPT大模型,“百模大战”全面开打
- GPT-4震撼空降,谷歌「紧追」微软有点难
- ChatGPT热度再升级,AIGC的投资人开始关注“文生图”了
- 二次元迷失「AIGC」:第一批吃螃蟹的人,迷惘、失落还有阵痛
- ChatGPT杀疯了,两个月引爆千亿美金新赛道
- AIGC为中小游戏公司解困,也有人担心失业
- a16z:金融服务行业将采用生成式 AI 来实现 5 个目标
- Meta推出先进大型语言模型,下一个ChatGPT不远了?
- chatgpt对接微信全流程
- GPT-4来了!国内相关初创项目近30家,VC加紧奔赴AI淘金热
- 天下再无免费数据?“美版贴吧”向AI公司收取数据使用费
- AIGC应用持续升温,将给普通人生活带来哪些改变?
- ChatGPT之后,AIGC会如何革新内容创作?
- 第一批被AI抢走饭碗的人”:我们不该被嘲笑
- 谷歌慌了,超20亿投资ChatGPT竞品Anthropic对抗微软
- AIGC拯救虚拟偶像?
- ChatGPT与五巨头:AI新纪元谁最有优势?
- ChatGPT和AI正如何改变播客行业?
- GPT-4震惊四座,中国创业者激战“小模型”
- AIGC商业化,版权保护谁来管?
- 谷歌追赶微软ChatGPT计划曝光:让AI在产品中无所不在
- 动嘴就能写代码,GitHub 将 ChatGPT 引入 IDE,重磅发布 Copilot X!
- 行业观察:AI技术“狂奔”,但商业逻辑大于技术逻辑
- Meta宣布:再裁员10000人!取消5000个职位空缺
- 年薪百万,只需陪聊,ChatGPT 正在带起一种很新的职业
- 2023最新的Chatgpt微信机器人搭建教程【附免注册chatgpt账号】
- 尔等请入座,AI 新秀 AutoGPT 如何颠覆生产力
- 微软下个十年的想象力,藏在ChatGPT里
- AI“春晚”英伟达又甩王炸!ChatGPT专用GPU来了 还要赋能芯片制造
- AI会杀死“美图秀秀们”吗?
- ChatGPT 吃我饭,砸我碗
- ChatGPT持续“高烧”,再走一遍元宇宙的老路
- 大厂大模型:久违的一把手工程
- GPT-5暂时来不了,OpenAI悄然布局移动端
- 山寨 GPT 太疯狂,OpenAI 发出“警告”:别用它来命名,正加速申请 GPT 商标
- 最新GPT-4在律考中击败90%人类,它到底强在哪?
- 多国拟发 ChatGPT 禁令,关“野兽”的笼子要来了?
- ChatGPT在一线城市火,元宇宙在二三线城市热
- 做了第一个ChatGPT .NET API聊天库
- ChatGPT 算力消耗惊人,能烧得起的中国公司寥寥无几
- 探讨 AI 在网络安全测试中的优势与挑战
- 与周鸿祎“深聊”ChatGPT:它会不会产生与人类为敌的想法?
- ChatGPT背后的算力博弈,中国企业亟待打破美国桎梏
- 这位「AI教父」怎么总炮轰ChatGPT?
- ChatGPT狂欢背后:别让科技新概念昙花一现
- 王慧文无心与李彦宏「斗法」
- YC爆发AIGC潮,100+项目完整盘点,AIGC有哪些创业方向?
- AI企业如何发展,“中国版chat GPT”给出了答案
- 【基于OpenAI的ChatGPT】搭建属于自己的微信聊天机器人(附带注册英国手机号码方式)
- ChatGPT热引发年薪千万高管辞职潮
- ChatGPT流量下滑10%,但真正的挑战不在这里
- 重磅突发!OpenAI正式推出多模态GPT-4
- 国内AI公司,靠ChatGPT逆袭?
- 王慧文创业“OpenAI”更多细节爆出,源码、真格或成“首位投资人”
- 基于ChatGPT的微信聊天机器人
- 谷歌“仓促”迎接 AI 大战,机器人 Bard“掉链子”股价大跌
- AI投入交易实战!2.5万名投资者跟着ChatGPT炒股
- ChatGPT 创始人和他疯狂的 Worldcoin 实验
- 首发ChatGPT课、AI共创游戏设计,网易试图抢跑AIGC红利
- 给数字人装上ChatGPT ?多家公司这样回应
- AI狂飙突进,人类在害怕什么?
- 10个实用的 ChatGPT 免费扩展!
- GPT-4如何引领科技前沿?盘点10大应用场景
- 给表情包都能猜电影,ChatGPT的「涌现」能力是哪儿来的?
- 中文在线又要大搞AIGC了,这次能翻身吗?
- 第一批投 AIGC 的 VC 开始后悔了
- GPT 创业四个月,收益几十块
- 微软因“Bing”得福?谁能成为搜索引擎的游戏规则改变者?
- 一文盘点帮助学生学习的 9 种 AI 工具
- ChatGPT爆火,带来哪些机会?
- 自主拆分任务的chatGPT版本autoGPT的用户前端化实现——agentGPT部署及配置全流程
- 马斯克这位前合伙人,从ChatGPT到WorldCoin,会给Web3带来惊喜吗?
- 使用OpenGPT(ChatGPT)搭建 QQ 机器人
- 叫停GPT-4后续AI大模型!马斯克、Bengio等人发出公开信,千人响应
- ChatGPT + Web3.0=去中心化人工智能
- ChatGPT 没让我失业,反而让我多打了几份工!
- 微软重磅更新:Windows引入AI助手,ChatGPT默认用必应搜索
- AI 大模型乃 ChatGPT 参数量三倍!谷歌聊天机器人推测试版,受益上市公司梳理
- ChatGPT 概念股爆炒要结束了?
- 外媒:微软将于下周发布大语言模型 GPT-4,多模态成为最大亮点
- centos8下搭建chatgpt本地环境集成到微信中,接入个人微信操作教程
- “一言”槽点满满,“千帆”下海收费
- 关于AI安全,OpenAI最新回应:没有人会为了尽快取得成功而“偷工减料”
- AI 杀入电商直播赛道,成本降低95%,主播薪资集体大降
- 争造第一个“国产ChatGPT”,大厂们拼了
- ChatGPT超级巨大漏洞,能看别人支付聊天内容,OpenAI公布技术细节
- 英国政府将打造“国家AI”,与ChatGPT竞争,初始投入仅“1亿英镑”
- centos8下搭建chatgpt本地环境集成到微信中,接入个人微信操作过程报错故障处理
- 字节跳动CEO:要深入学习理解GPT-4,思考结合场景创造价值
- 突发!ChatGPT 紧急暂停 Bing 集成,下线搜索功能
- 这些让人惊呼好用的神器背后,原来都是ChatGPT
- ChatGPT类产品不是法外之地!拜登政府:将打击有害AI商业行为
- 角逐国内金融GPT:大模型如何重新定义金融科技
- 颠覆历史!「ChatGPT搜索引擎」发布,微软市值一夜飙涨5450亿
- centos8下搭建chatgpt本地环境集成到微信中,接入个人微信操作过程报错故障处理【后续更新附加】
- GPT-4将在下周发布,必应日活破亿,谷歌还有招架之力吗?
- 狂飙的ChatGPT,为什么是OpenAI最先做出来?
- 马斯克“忌惮”的 ChatGPT,让人类更聪明还是更愚蠢?
- 他做了一个「ChatGPT 杀手」,a16z 抢着投
- 苹果禁用ChatGPT,为防机密泄露!大模型版Siri即将升级推出
- 我的微信
- 这是我的微信扫一扫
-
- 我的电报
- 这是我的电报扫一扫
-