- A+
来源:新智元
Llama 2刚发布没两天,独角兽Stability AI就已经火速微调出了FreeWilly模型,据称性能已经可与ChatGPT媲美。
Meta的Llama 2一发布,就引爆了整个开源社区。
正如OpenAI科学家Karpathy所说,对于整个大语言模型领域来说,这是极其重要的一天。在开放权重的所有模型中,Llama 2是最强大的一个。
从此,开源大模型与闭源大模型的差距将进一步缩小,构建大模型的机会,从此对所有开发者都是平等的。
就在刚刚,Stability AI和CarperAI实验室联合发布了基于LLaMA 2 70B模型的微调模型——FreeWilly2。
以及,基于LLaMA 65B原始模型微调的——FreeWilly1。
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/Ft8x_qom5qWdA3pPgJvbfQ3nGeyl.png)
值得注意的是,模型采用了基于标准Alpaca格式,并经过监督微调(SFT)的全新合成数据集来进行训练。
在各项基准测试中,FreeWilly2都展现出了卓越的推理能力,甚至有部分任务还超过了GPT-3.5。
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/FvwFhl4nhDfFyq-kVJn6xzIv_ugW.png)
模型地址:https://huggingface.co/stabilityai/FreeWilly2
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/Flq1VbsnDn23INHvXXZb1CJM11mN.png)
模型地址:https://huggingface.co/stabilityai/FreeWilly1-Delta-SafeTensor
这两款模型都是研究实验,并在非商业许可下发布。
数据生成与收集
Stability AI表示,FreeWilly模型的训练是受到了微软论文《Orca: Progressive Learning from Complex Explanation Traces of GPT-4》的直接启发。
不过,虽然数据生成过程类似,但来源却有所不同。
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/Fo_LwCYMbzCbB8UYK5xYp8fzB800.png)
论文链接:https://arxiv.org/pdf/2306.02707.pdf
FreeWilly的数据集变体包含有60万个数据点(大约是原始Orca论文使用的数据集大小的10%),并通过使用Enrico Shippole创建的高质量指令数据集,对模型进行了引导:
- COT Submix Original
- NIV2 Submix Original
- FLAN 2021 Submix Original
- T0 Submix Original
通过这种方法,Stability AI使用了一个较简单的LLM模型生成了50万个示例,再使用一个更复杂的LLM模型生成了额外的10万个示例。
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/FlHqZlG6qzTD6fgucEdEL2GvDDUt.png)
为了进行公平比较,Stability AI精心筛选了这些数据集,并删除了来源于评估基准的示例。
尽管训练样本量仅为原始Orca论文的十分之一,但由此生成的FreeWilly模型,不仅在各种基准测试中都表现出色,而且也验证了合成生成数据集方法的可行性。
模型性能的评估
在性能评估方面,Stability AI的研究人员采用了EleutherAI的lm-eval-harness,并加入了AGIEval。
从结果来看,FreeWilly在很多方面都表现出色,包括复杂的推理、理解语言的微妙之处,以及回答与专业领域相关的复杂问题(如法律和数学问题解决)。
基本上,FreeWilly 2已经实现了与ChatGPT相当的水平,甚至在有些评测上更胜一筹。
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/Fu1SAk1OCtvTnTGzsX0zoaCVjcRD.png)
GPT4ALL基准(0-shot):
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/FpsFwtj10KiA8B5zfmLaUGwaBYQc.png)
AGI评估(0-shot):
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/Fit9SuC4LgP7Y8-_ApCGG5g99HZC.png)
除此之外,来自Hugging Face的团队也在7月21日对实验进行了独立复现。
可以看到,在Open LLM排行榜上,FreeWilly 2以绝对领先的优势排在第一,平均得分比原始版的Llama 2高了4个百分点。
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/Fkg5Fq-lwJtga6IQzmin9juiTdE0.png)
为了开放的未来
可以说,FreeWilly1和FreeWilly2为开源大语言模型树立了新的标准。
这两个模型的推出,不仅极大地推进了相关领域的研究,增强了自然语言理解能力,而且还支持复杂任务的完成。
Stability AI表示,团队为这些模型能AI社区带来的无限可能感到非常兴奋,并期待着那些因它们而激发出全新应用。
此外,也衷心感谢充满激情的研究人员、工程师和合作伙伴团队,是他们的卓越努力和奉献,使Stability AI能够达到这一重要里程碑。
激动人心的时刻
模型一经发布,网友「Phil Howes」就利用Tuhin Srivastava的Llama v2框架,在不到一分钟时间就完成了FreeWilly 2的实现。
经过275GB的权重加载后,模型的运行速度在开箱即用的情况下达到了23 token/s。
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/FjFgyYU2OaGkaLuNZhqtMK2GeGrY.gif)
另外,还有网友惊呼:Stability AI和CarperAI联合推出的模型,堪称是对游戏规则的改变!
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/Fj1XiZal23rKYmLktTXt9nuWwvg-.png)
FreeWilly1和FreeWilly2在开源和性能方面具有极大的创新意义,AI圈正在迎来令人激动的时刻。
![Stability AI火速发布Llama 2微调模型FreeWilly,性能媲美ChatGPT!网友惊呼游戏规则已改变](https://www.luyuan.io/wp-content/uploads/2023/07/FlaHNP6LcvnKciDG1WmOAbKYTX5a.png)
参考资料:
https://stability.ai/blog/freewilly-large-instruction-fine-tuned-models
- 我的微信
- 这是我的微信扫一扫
-
- 我的电报
- 这是我的电报扫一扫
-