近日,苹果公司推出了300亿参数的多模态AI大模型MM1.5,该版本是在前代MM1的架构基础上发展而来的。

该模型继续遵循数据驱动的训练原则,着重探究在不同训练周期中混合各类数据对模型性能产生的影响,相关模型文档已在Hugging Face上发布。

MM1.5提供了从10亿到300亿的多种参数规模,拥有图像识别和自然语言推理能力。在新版本中,苹果公司的研发人员改进了数据混合策略,极大地增强了模型在多文本图像理解、视觉引用与定位以及多图像推理等方面的能力。

此外,研究人员在监督式微调阶段深入分析了不同数据类型对模型表现的作用,优化了视觉指令微调数据的混合方式,使得即便是小规模的模型(如10亿、30亿参数版本)也能有出色的发挥,实现了更高的效率。


责编:聚观365

此内容归聚观365整编发布,未经聚观365书面授权,不得以任何方式加以使用,包括转载、摘编、复制或建立镜像。

点赞(84)

评论列表 共有 0 条评论

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部