啥也不是,散会
cpu:
响应内容:
注:10分钟就蹦出来这几个字符串。
![:sweat_smile: :sweat_smile:](https://cdn.linux.do/images/emoji/apple/sweat_smile.png?v=12)
本机:
不是,我11代i5 16gb ram也没这么慢啊,用openwebui跑试试
M2 max,不至于吧,
是哪里还需要设置吗?感觉cpu不干活
第一次没经验 哪里不对呀
哈哈哈,这也太慢了
让我们回到8b
你可能使用的是cpu版的ollama
8b 秒回复
打开ollama官网默认安装的
你去换成gpu版的就可以了,默认使用的是cpu
直接下Linux版本的嘛?没看到Mac GPU半在哪
LMStudio?
如果看到他70加载到cpu,百分之30加载到gpu,这个咋让他完全走cpu
gemma:2b 1.7G
极致小模型,你值得拥有
想压榨一下,看别人70B 也不至于像我这样慢, 不懂
感觉不知道是哪里有点问题
内存显存小了,别人不卡都是能把模型完全载入内存的吧,
M1 max 64 2秒左右出来…确实比其他模型慢点不过也没那么夸张