另外，14b Q5 K L运行真心的慢啊，思考半天不吐字，吐字还特别的慢，一个一个的
3 Likes
没有吧，只能再套一个工具吧
lm studio本身没有这个功能吧…
1 Like
任务管理器看一下显存使用率哈，是不是爆显存了
联网…应该不能吧…
6，那说明你完全搞错了，它完全没在用GPU，而是CPU在奋斗，能快就有鬼了 
擦。。难道没用显卡？可是风扇疯狂的转啊
本地部署怎么调用显存？
好消息：显存没爆
坏消息：显卡没动
1 Like
事实证明，CPU也是可以带起来的
你应该庆幸这东西CPU能跑，不是n卡限定 
llama跑的吗，显卡是啥
确保显卡驱动是完整最新的，一般都能调用的起。
显卡2060
在设置里面的选择cuda作为后端…
不想装最新的显卡驱动，毕竟臃肿，想停留在以前。能测试是否支持cuda加速吗？
好，原来这个可以设置，我看看
我只知道怎么用 python 验证 cuda 的
import torch
torch.cuda.is_available()
1 Like
看着 cuda 挺正常呢 