https://www.deepseekv3.com/cn/blog/deepseek-deploy-guide?utm_source=chatgpt.com
18 个赞
用 Project DIGITS部署应该就能减小成本
可以纯cpu推理,内存够就行,ddr4内存便宜得很
1 个赞
不能gpu加内存吗，纯CPU效率太低了吧
ollama好像可以混合推理
1 个赞
一部分在gpu上面，一部分在内存，没有那么夸张。另外还有更新的量化技术，fp8可以更优。不过现在感觉r1更好玩一点。
unsloth/DeepSeek-V3-GGUF · HF Mirror 不同的量化模型尺寸急剧降低，最低版本的仅需要40g内存或者显存即可以运行。
相信gpt的回复不如去看看官方的部署文档或者指南，细心找找还是有硬件需求的。不过话说回来，参数量超过70B的大模型训练，部署等门槛已经不适合个人玩耍。不如api廉价稳定性价比高。
1 个赞
可以Mac mini M4 Pro堆叠，不用那么多。
纯 cpu ？？？ 一分钟能出一个 token 吗 
1 个赞
AI推算就算量化后的模型也需要几十秒一个Token
一秒一个差不多
这需要什么CPU
这成本，只有大公司才能玩得转了
只要内存够，都可以，速度和cpu有关系
1 个赞
哪来这么快的cpu
90w？？
个人用的话不用这么多