预训练大模型的三大挑战 ：
▶ 训练难：训练数据量大，算力成本高。
▶ 微调难：微调参数量大，微调时间长。
▶ 应用难：推理速度慢，响应时间长，难以满足线上业务需求。
https://mp.weixin.qq.com/s/leUQz3VcyCkfY6Xx2G39mg
官网 https://www.openbmb.org/home
已经入驻模型：CPM1、CPM2、EVA
-
CPM1是一个拥有26亿参数的生成式中文预训练语言模型。
CPM1的模型架构与GPT类似，它能够被应用于广泛的自然语言处理任务，如对话、文章生成、完形填空和语言理解。 -
CPM2是一个拥有110亿参数的通用中英文双语预训练语言模型，基于encoder-decoder架构。CPM2具有7种通用语言能力。
2021年9月CPM2推出升级版本CPM2.1，CPM2.1新增了生成式的预训练任务并基于持续学习范式进行训练，生成能力进行了大幅度强化。 -
EVA 是一个28亿参数的中文预训练对话模型，基于encoder-decoder架构。
EVA在很多对话任务上表现优异，尤其是在多轮人机交互对话任务上。
git地址：https://github.com/OpenBMB
原创文章，作者：sunnyman218，如若转载，请注明出处：https://blog.ytso.com/tech/pnotes/245673.html