DeepSeek 如何本地部署？最详细清单来啦

搞七捻三
21

土豪，我们公司两个4090审批了1个月服务器才下来

22

感谢大佬分享！

23

感谢大佬！

24

够呛能跑起来，即使跑起来应该卡的没办法用

25

671B 的 4bit 量化版，24GB 显存 + 382G 内存就能跑了

1 个赞
26

这个科普好啊！ 不盲目追求72B的模型。

27

实测自家4090单卡可以用ollama部署32B的Q4_K_M量化蒸馏版，而且推理速度也非常快，显存总占用大约是21G左右

1 个赞
28

所以如何本地部署的教程呢，只是列出来需要什么配置

29 
ollama run deepseek-r1:7b
30

感谢大佬

31

哇谢谢，这样对比很清晰

32

感谢大佬分享，清晰明了 :+1:

33

这文章是AI生成的么，8B模型没必要用8-bit量化，671B“小时级”的速度又是什么鬼，还有其他问题就不一一列举了

34

感谢佬，刚好公司要拥抱AI :face_holding_back_tears:

35

收藏了！

36

32B我部署了，速度和效果不如web版。

37

感谢分享，正好需要，公司也让研究了

38

个人玩家，部署低参数的版本没多大意义

39

mac m1 部署哪个版本？java开发

40

这里的最低硬件配置实际上是过剩的，作为推荐配置比较合适。
实测16G内存+6G显存跑7b/8b都很流畅。14b也能运行，但很卡。
详细配置如下：
CPU：AMD A8-7500
内存：DDR3-1600 8G x2
显卡：P106-100 6G
软件：Debian 12 + Ollama