刚才让模型分析了一下 各家开源模型的 KV cache 的规模(120k bf16)。
发现模型的定价基本上是跟kvcache的大小是高度正相关的。
鉴于当前ds-v4最新的架构引领，估计新的国模肯定会快速跟进新架构设计，并且大幅降价(80%以上).
存储芯片的价格可能不太好预测, 虽然cache存储量大幅降低了, 但是用户量+需求量还在井喷增长, 二级市场可能会相对降温.
3 Likes
KV Cache 就是显存，就是纯粹的硬件资源，这应该就是与定价高度正相关的原因
1 Like
应该不只是显存，还有DRAM和SSD
1 Like
大幅降价(80%以上) 
真的会吗 我倒是想啊