llama3:70b 本地部署我放弃了

啥也不是,散会

cpu:

响应内容:


注:10分钟就蹦出来这几个字符串。 :sweat_smile: 截止截图还在那卡着呐

本机:
image

3 个赞

常规话题人工智能

不是,我11代i5 16gb ram也没这么慢啊,用openwebui跑试试

M2 max,不至于吧,

是哪里还需要设置吗?感觉cpu不干活 :zipper_mouth_face:

第一次没经验 :rofl: 哪里不对呀

哈哈哈,这也太慢了

让我们回到8b

你可能使用的是cpu版的ollama

1 个赞

8b 秒回复

1 个赞

打开ollama官网默认安装的

你去换成gpu版的就可以了,默认使用的是cpu

直接下Linux版本的嘛?没看到Mac GPU半在哪

LMStudio?

如果看到他70加载到cpu,百分之30加载到gpu,这个咋让他完全走cpu

gemma:2b 1.7G
极致小模型,你值得拥有

想压榨一下,看别人70B 也不至于像我这样慢, 不懂 :melting_face:

感觉不知道是哪里有点问题

内存显存小了,别人不卡都是能把模型完全载入内存的吧,

M1 max 64 2秒左右出来…确实比其他模型慢点不过也没那么夸张