OpenAI 开源模型配置短暂在线发布

前沿快讯
1
  • available as 120b (gpt-oss-120b) and 20b (gpt-oss-20b) variants
  • 提供 120b (gpt-oss-120b) 和 20b (gpt-oss-20b) 两种变体

120-billion-parameter GPT-OSS model configuration highlights
1200 亿参数 GPT-OSS 模型配置亮点

  • use of Grouped-Query Attention (GQA) to balance efficiency and quality for cost-effective inference

  • 采用分组查询注意力 (GQA) 以平衡效率和质量，实现经济高效的推理

  • 36 layers and a 4096-token context length, reflecting advanced transformer architecture

  • 36 层和 4096 令牌上下文长度，体现了先进的 Transformer 架构

  • fp4 pretrain

  • fp4 预训练

  • mixed native datatypes

  • 混合原生数据类型

  • resistance to fine-tuning possibly to limit customization and maintain control

  • 对微调的抵抗，可能是为了限制定制和保持控制

image
image1052×1588 119 KB

image
image2048×932 164 KB

6 Likes
2

叫gpt-oss诶ww）

啊？

1 Like
3

小红书上刷到了，怎么才4k上下文

4

这是在搞笑吗 :melting_face:

5 Likes
5

虽然oai会上开源，当时硅基因为审核上不了就很gan

6

没事没事groq会上

7

有点不太一样，怎么看到有人发原生 4k 上下文，但是通过技术拓展到了 128k。

8

image
image688×702 79.2 KB

9

120B感觉也没啥大用，还的上闭源，沉浸式才考虑用吧

2 Likes
10

能力咋样

11

权重
已经开源了吗

12

感觉看参数好弱鸡啊各方面好歹放个强于现在的开源模型的模型啊你可是openai啊

13

我就说怎么蹦出来这么幽默的上下文大小。考虑RoPE后应该有50k-100k的上下文吧？:laughing:

14

4k 上下文够干嘛……我去新华社随便粘了篇新闻就 1000 tokens 了
image
:sweat_smile: :sweat_smile: :sweat_smile:

15

国际版会上吧

16

120b？4K上下文？ :lark_012:

17

为沉浸式量身定做的嘛，沉浸式用不了太多上下文