16G显存运行满血DeepSeek

搞七捻三
1

【DeepSeek R1-671B全量运行！真正满血！仅需一张16G显存显卡! 人人都能拥有 671B Q4量化 Ktransformers架构 单卡4090运行】 DeepSeek R1-671B全量运行！真正满血！仅需一张16G显存显卡! 人人都能拥有 671B Q4量化 Ktransformers架构 单卡4090运行_哔哩哔哩_bilibili

这个感觉方案可以诶，大内存降低显存需求，视频上看速度和硅基免费版差不多，这样看来以后就会有更多便宜的R1可以用了吧

7 个赞
2

这内存真够大

image
image859×250 14.6 KB

2 个赞
3

“大”内存

4

真 大 内存

5

480GB的D5内存会比多买个卡更便宜吗？

6

没用，照这么说3060也能运行满血的，反正就往内存里放呗。

7

刚好在官网看了一眼，1T内存。。。

1 个赞
8

我下载了个14B可以用

9

所以其实还在紧密开发中吧~~

10

只有671B才能称作满血，所有其他的都是蒸馏其他模型，比如14B本质是Qwen2.5。所有这种标题党说能个人电脑运行满血deepseek的，看都不用看直接拉黑

1 个赞
11

便宜得多，一张64G D5 内存1000多，一张H100 20w

1 个赞
12

是的，看了下，预计还能提升性能

13

速度不一样吧，他这个推理速度还可以吧，感觉和我用硅基免费版差不多

14

ytb上有用虚拟内存,干到600g 也是可以的

15

虚拟内存就更慢了吧，虚拟内存不是内存不够把数据往硬盘里塞么

16

那是非常慢，0.09 tokens/s

17

看完官方文档可惜没环境论证 :joy:

18

感觉这个对于想本地部署的企业来说是个好消息，如果能优化到15t/s的话。大多数企业不是很想把自己私有数据分享出去的。

19

这个很有意义，成本一下子低了N倍

20

是啊，但是这个只针对moe，或者说稀疏模型有用，r1激活参数才30多B