马斯克在最后一刻如约开源了Grok，模型有314B大小，这是第一个如此规模的开源模型。
国内的公司又能起飞一波了，不过模型没有经过微调，对各家的训练技术也有一定的考验。
模型快速介绍：
基础信息： 模型规模为314B，由8个专家系统组成（其中2个处于活跃状态）。 活跃参数总数达到86B。该模型采用旋转嵌入（Rotary Embeddings）技术#rope，而非传统的固定位置嵌入方式。
这个版本的Grok-1是我们在2023年10月完成预训练阶段时的初始模型版本。
Apache 2.0这一开源许可证下发布这个模型的权重和架构，任何人都可以在该许可证的规则下使用这些资源。
它是一个拥有3140亿参数的混合专家模型，其中在处理每个数据单元（Token）时，大约有25%的模型参数是活跃的，这意味着模型可以更高效地运行。
这个模型是xAI团队使用定制的训练架构，在JAX和Rust的基础上从头开始搭建并训练出的成果。
模型架构介绍：
分词器的词汇量为131,072（与GPT-4相似），即2的17次方。 嵌入向量的大小为6,144（48*128）。
模型包含64层的Transformer结构（这是相当高的层数）。 每层包含一个解码层，由多头注意力模块（Multihead Attention Block）和密集前馈块（Denseblock）构成。 键值对（Key-Value）的大小为128。
在多头注意力模块中： 用于查询的头数为48， 而用于键/值（Key/Value, KV）的头数为8， 其中KV的大小为128。
密集前馈块（Dense Block）的特点包括： 扩展因子为8， 隐藏层的大小为32,768。
每个Token会从8个专家中选出2个进行处理。
旋转位置嵌入（Rotary Positional Embeddings）的大小为6,144，这与模型的输入嵌入尺寸相匹配。
模型可以处理的上下文长度为8,192个Token。 计算精度为bf16。 为了运行整个模型，你可能需要5台H100 GPU。
介绍来自：
https://twitter.com/op7418/status/1769531325781033007
