中文对话大模型BELLE全面开源!
来源:高能AI本文约1000字,建议阅读5分钟模型调优仅使用由ChatGPT生成的数据,为中文指令提供更好的支持。
中文对话大模型开源社区迎来了一名浓眉大眼的新成员!最新项目BELLE(BE Large Language model Engine)基于BLOOM和LLAMA针对中文做了优化,模型调优仅使用由ChatGPT生成的数据,为中文指令提供更好的支持。
开源地址:https://github.com/LianjiaTech/BELLE
该项目目前已经开源了如下内容,并且在持续更新中:
- 150万中文指令微调数据集
- 以Bloomz-7b1-mt(70亿参数)为基础,分别在20万,60万,100万,200万数据上进行指令微调后得到的模型Checkpoint。
- 以LLAMA-7b(70亿参数)为基础,分别在60万,200万数据上进行指令微调后得到的模型Checkpoint。
- 对以上模型进行量化后的轻量化模型,便于部署、推理。
BELLE模型能力展示
BELLE技术方案介绍
ChatGPT、GPT-4的横空出世,让人们看到了一丝AGI(通用人工智能)的曙光。在可预见的将来,ChatGPT将对各行各业带来革命性的影响。但是这样的技术不应该只被掌握在一家公司手中,因此BELLE项目应运而生了,他们的初衷是为了促进中文对话大模型开源社区的发展。为此,他们在三个方面做了初步的尝试,并已经开源了他们的研究成果。
- 数据:为了获得大量的指令微调数据,项目团队参考了斯坦福大学的Alpaca项目,并针对中文场景进行了优化,利用ChatGPT生了多样化、高质量的数据,这些数据涵盖了各种应用场景,包括日常对话、知识问答、文本生成等,有助于模型在各种中文场景中的表现。他们已经开源其中的150万数据。
- 模型:大模型的训练往往具有较高的成本,而一个具备初步的能力的对话模型,将大大降低使用和科研的门槛。为此,他们基于Bloom和LLAMA,训练了出具效果的对话模型,并完全开放了这些模型的参数。
- 轻量化:为了便于模型的部署和试用,BELLE团队同时开源了对话模型的量化版本。包括8bit, 4bit, 其中4bit版本模型checkpoint大小仅为6.9G,运行仅需8.4G显存。
模型效果比较
以Bloomz-7b1-mt为基础,BELLE团队评估了不同数量的instruction tuning数据,对模型效果的影响。总的来说,提升数据量能持续带来效果的提升,但是在不同类型的任务上表现有所不同。在Extract, Classification, Closed QA, 和Summarization任务上,增加数据能持续带来效果的提升,还未达到瓶颈。在Translation, Rewrite, 和Brainstorming任务上,几十万的数据量就能获得较好的效果。在Math, Code, 和COT任务上,模型效果较差,而且增加数据量已经无法带来效果的提升。
详见论文:Exploring the Impact of Instruction Data Scaling on Large Language Models: An Empirical Study on Real-World Use Cases。
总结
可以说BELLE的出现,大大促进了中文开源对话模型的发展,基于他们开源的数据和模型,更多的人可以尝试这些模型,更多的研究工作可以更快捷的展开。令人更加惊喜的是,该开源项目仍在持续更新,将来会有更多的内容被开放出来,欢迎大家持续的跟踪。
编辑:文婧
相关文章
- pycharm 中文乱码_pycharm中文字体设置
- mysql截取中文字符_mysql截取字符串函数-Go语言中文社区
- codeblocks中文编码问题
- CLIP中文模型开源!中文版 DiscoDiffusion 文图生成算法即将到来?
- 首个中文Stable Diffusion模型开源,IDEA研究院封神榜团队开启中文AI艺术时代
- 大规模、高性能,清华、聆心智能推出中文开放域对话预训练开源模型OPD
- CLUE社区最新神器!PromptCLUE:大规模多任务Prompt预训练中文开源模型
- 交互式原型设计Axure软件中文激活版,Axure软件2023安装教程下载
- 数据MySQL中插入中文数据的操作方法(mysql中插入中文)
- 第一届中文学生开源年会将于 5 月在电子科技大学举办
- 探究中文内核 Linux:解密全球最流行的开源操作系统(中文内核linux)
- win 7下使用FlashFXP连接站点,中文显示乱码的问题
- 25字中文题目:探索 Linux Perl 环境的强大功能!(linuxperl环境)
- 中文编码 CP936 在 Oracle 数据库中的应用(cp936 oracle)
- 解决 MySQL 中文字符不显示问题(mysql不显示中文字符)
- Oracle中文开启数据库连接新世界(oracle中文什么意思)