炫耀一下Ollama跑671B DeepSeek R1(尤其是速度)

[F-droid]

[XiaoHuang (小黄)]

佬友怎么跑的，还有这个APP作者是不是暂时没更新了

[suxiaomi (我爱Java)]

羡慕啊啊

[BenSu]

xmsl……什么硬件配置？

[IIIEEEPEOPLE]

有点厉害啊哥们

[leeorz (近战法师)]

什么硬件配置，跑的多少量化？

[Alan_shuai (Nechy)]

太羡慕啦

[yangtb2024]

太强了！

[xxxx]

佬是什么配置

[Arvin_Xu]

试试问下这个问题？

一个汉字具有左右结构，左边是木，右边是乞。这个字是什么？只需回答这个字即可。

昨天研究了一小时测出来的题目，目前看似乎只有满血 R1 思考过之后才能做出来。

[F-droid]

Ollama有2K截断

[stevessr]

xmsl~~

[Cimix]

F佬财力这么雄厚吗

[yqyan (Grogu)]

这个你还没改啊

[yeahhe (Mozi)]

输出长度和显存有关吧，是设置问题还是配置问题

[F-droid]

好像是炸了，等会再试
llama runner process has terminated: error loading model: unable to allocate CUDA2 buffer

[yqyan (Grogu)]

Ollama 默认 2048 上下文，可以自己做个 Modelfile 加参数 num_ctx 修改默认值，也可以调 API 时加参数
当然，显存不足，可能会炸

[Thousand_Star (千辰)]

答案是什么哎？

[WyInnovate (斓曦未央丶)]

佬 你的cherry studio能连通服务器上的ollama吗？

[F-droid]

当然能啊