什么是满血版R1, 解释解释,翻译翻译,理想与现实 差别不一般大

:one:理想的满血版R1:
|---- 模型参数(671B)
|---- 精度(BF16/FP8)
|---- 上下文窗口大小(128K)
|---- 深度思考(COT)窗口大小(32K)
|---- 输出窗口大小(8K)

:two: 实际第三方提供的满血R1:
|---- 模型参数(671B)
|---- 精度(Q8/Q4/Q1.5)
|---- 上下文窗口大小(64K/32K)
|---- 深度思考(COT)窗口大小(2K-8K)
|---- 输出窗口大小(4K-8K)


也就是说,所谓的「满血」是指 模型参数规模 的「满血」。

47 个赞

L站机器人应该是满血的

39 个赞

始皇,:robot:竟然有 R1了吗 :tieba_095:

关键怎么区分呢

确实是这样的

2 个赞

确实,满血很难

是的,赞同。但是第三方好像都只承诺参数规模满血,但不提供精度参数,好像改变一个量化等级,体积就会变小很多。

还得是 l 站机器人

CoT tokens 只有 8K 的根本没办法用

1 个赞

想知道那些测试题能不能跑出来精度差距,精度对R1性能影响大吗?

大,能 https://linux.do/t/topic/402846/160

1 个赞

好题,感谢指路(支持大佬仗义执言

1 个赞

感谢感谢! :face_holding_back_tears:

因为完整的1B差不多4G,量化的话只需要0.5G

3 个赞

那么现在有哪些供应商的API是满血的呀

还有一个很重要的附加值,能否联网搜索:mag:

1 个赞

openouter上有写FP8的,可能会是满血的;很多平台跑671B,但是精度会缩水,思考窗口和上下文缩水对一般问题还好,高难问题影响大;但精度缩水只能拿测试题跑一下,除此之外很少有强调自己精度的平台了

我自己以前用的就是他家的,他家的R1渠道也是来自好多个的,不稳定,有些甚至都不思考的,他家所有渠道难道都是满血的不太可能应该

始皇这是从哪来的供应商渠道呀

fireworks

4 个赞