大模型Grok-1开源

据外媒报道，马斯克领导的人工智能公司xAI近日宣布，他们的大语言模型Grok-1已正式开源，发布了基本模型的权重和网络架构。

从xAI在官网公布的消息来看，Grok-1是拥有3140亿参数的混合专家模型。在目前已开源的大语言模型中，Grok-1的参数是最多的。

XAI官网的信息还显示，Grok-1是由他们从头开始训练的模型，此次发布的是预训练阶段结束时的原始基础模型检查点，预训练阶段在去年10月份完成。这也就意味着他们开源的模型，没有进行针对对话等任何具体应用的微调。

在官网上，xAI披露Grok-1是在大量文本数据上训练的基础模型，是xAI团队使用JAX和Rust编程语言自定义训练栈从零开始训练的成果，权重和架构均依照Apache 2.0开源许可协议发布。

责编：聚观365

此内容归聚观365整编发布，未经聚观365书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。