DeepSeek 本地部署配置清单

[Jerk_H (long)]

感谢分享

[CoolMan (御姐流香)]

感谢分享

[aiaiAI (无恙)]

实测，4070 +32G内存可以跑14b q4量化，速度8 tok/s，32b q4也能带得动，只不过3 tok/s .
8g显存跑7b最快，但是很弱智，只能做简单任务。

[Searle]

ollama实测，32b的可以在MBP M1 Pro + 32GB上跑起来，6 t/s

[appalsalmon (腐竹)]

感谢分享，知道如何使用。自定义部署来说很方便了

[BenSu]

请问佬友们有试过多少卡可以支持多少并发么？