复旦大学MOSS大模型正式开源

4 月 21 日，复旦大学自然语言处理实验室开发的新版 MOSS 模型正式上线，成为国内首个插件增强的开源对话语言模型。

据介绍，MOSS 是一个支持中英双语和多种插件的开源对话语言模型，moss-moon 系列模型具有 160 亿参数，在 FP16 精度下可在单张 A100 / A800 或两张 3090 显卡运行，在 INT4/8 精度下可在单张 3090 显卡运行。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

目前，MOSS 模型已上线开源，相关代码、数据、模型参数已在 Github 和 Hugging Face 等平台开放，供科研人员下载。

MOSS 来自复旦大学自然语言处理实验室的邱锡鹏教授团队，名字与《流浪地球》电影中的 AI 同名，已发布至公开平台（https://moss.fastnlp.top/），邀请公众参与内测。

责编：聚观365

*此内容归聚观365整编发布，未经聚观365书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。