671b， deepseek-r1 一会跑起来试试，是不是有佬友已经爽过了

[xiaolong (wxl)]

[luckybear (熊吉)]

不好搞啊，用什么设备来跑呢？

[CAC]

没有显卡跑起来好吃力

[y1285012 (Ryan)]

佬友多大显存跑的，我96G可以吗

[yqyan (Grogu)]

楼主能跑？真够硬

[Timmy_0]

只跑了个全量32B

[Butterl]

CPU最多也就跑到70B吧

[slashkkk (空气动力学)]

我这个18年的顶配mcp，跑个phi4都觉得为难它老人家了

[yqyan (Grogu)]

不能
全量的话，SGLang 推荐配置

Ollama 这个嘛，400GB 以上吧
上点黑科技手段，至少估计要 200GB 以上，这个嘛，没弄过，不保证跑得起来

[y1285012 (Ryan)]

那好吧，我在下载70b的

[yqyan (Grogu)]

佬友的配置够，Ollama 跑个 Q8 的 70B 应该没问题，不过，Q4 应该就够用了

[xiaolong (wxl)]

@yqyan

Q4 应该就够用

目前跑了70b的，已经体感不错了，4台A100，没有提多资源

[bazpk_one (不爱做跑酷)]

在哪里下载 求个链接 谢谢佬友

[xiaolong (wxl)]

deepseek-r1

[Grok]

我错b。。误入。。

[yqyan (Grogu)]

70B，量化后 1 台足矣啊

[xiaolong (wxl)]

是，70b 虽然爽，我想试试671b参数的模型是个啥概念

[yqyan (Grogu)]

直接访问官方 API 吧

[xiaolong (wxl)]

我看看自己的部署跟官方到期差多少，翻译的需求比较大，不是纯为了好玩

[yqyan (Grogu)]

翻译？这玩意不适合做这个吧