BitByte
(BitByte)
1
理想的满血版R1:
|---- 模型参数(671B)
|---- 精度(BF16/FP8)
|---- 上下文窗口大小(128K)
|---- 深度思考(COT)窗口大小(32K)
|---- 输出窗口大小(8K)
实际第三方提供的满血R1:
|---- 模型参数(671B)
|---- 精度(Q8/Q4/Q1.5)
|---- 上下文窗口大小(64K/32K)
|---- 深度思考(COT)窗口大小(2K-8K)
|---- 输出窗口大小(4K-8K)
也就是说,所谓的「满血」是指 模型参数规模 的「满血」。
47 个赞
是的,赞同。但是第三方好像都只承诺参数规模满血,但不提供精度参数,好像改变一个量化等级,体积就会变小很多。
CosmoDz
(沂 洛)
11
想知道那些测试题能不能跑出来精度差距,精度对R1性能影响大吗?
CosmoDz
(沂 洛)
18
openouter上有写FP8的,可能会是满血的;很多平台跑671B,但是精度会缩水,思考窗口和上下文缩水对一般问题还好,高难问题影响大;但精度缩水只能拿测试题跑一下,除此之外很少有强调自己精度的平台了
Walmt
19
我自己以前用的就是他家的,他家的R1渠道也是来自好多个的,不稳定,有些甚至都不思考的,他家所有渠道难道都是满血的不太可能应该