不到 4 万元的 DeepSeek-R1-671B-Q8 部署方案
https://mp.weixin.qq.com/s/vIrvbVJ6Nv00Ehre1zZwMw
26 个赞
感谢分享,文章写的理论满满,实际上可行度还是低,甚至是萎缩版的671B,因为没有了GPU的搭配,算力将大打折扣,结果也可能大相径庭。
2 个赞
还好用不上
1 个赞
所有不提并发效果的低成本部署方案都是自欺欺人
4 个赞
目标就是降低部署成本,没道理用百分之一的钱要求百分之百的性能吧。
1 个赞
不考虑性价比么?百分之一的成本,想要并发直接堆就好了
。。这是真的吗
峰值 7t/s,平均呢?拿峰值来说没意义
这个。。。去哪买呢?
感觉R1是好久之前的东西了,新模型出来,它就没那么香了
目前DeepSeek的API都有点过剩的感觉。因为具体的应用场景应该是可持续的才行
这就转给领导让他打钱
看到这应该就没有佬有兴趣评测了
只要。。。。
三万八千八搞个 671B 的 Deepseek 自己一个人玩感觉还是有点小贵
只要998可以考虑
完全没有必要,毕竟几个月之后说不定就迭代了。
1 个赞
还不如再等等阿里的千问,腾讯这个货总是干这种没有仔细的活。。。
个人用用免费的可以了
可以去cnb部署试一下