ai max+395 本地运行qwen3-30b 测试天气效果

[wuyan]

前情提要：如果你有一个AMD AI MAX+ 395的电脑，你会用来干什么 - #24，来自 wuyan

235b能跑，但是跑一半思考陷入死循环了，先不测了

235 大概10t左右吧

[Cimix]

性能还不错

个人用足够了

你把模型文件夹里的配置文件加上yarn，拉长上下文试试

[wuyan]

不知道用什么命令看模型的参数，

[Cimix]

下载模型后有个config.json

如果是ollama下载的那种，我就不知道从哪里可改了，好久没折腾ollama了

[Throttle (方块)]

效果也太好了

[wuyan]

我试了235b 不思考，不思考生成出来的就不行了

[handsome (大帅哥)]

感觉差点意思

[wuyan]

但是也有点意思

[handsome (大帅哥)]

确实，意思意思还算有点意思

[6512345 (65)]

毕竟就一个22b的滑动窗口，也强不到哪去啦www

[IFGSLL (yahahahahaha)]

30B 的模型本地跑能到 34t/s， 真是相当可以了啊

[wuyan]

短一点的能跑 五六十

[070]

为什么你的速度比我在lm studio测试的快那么多？ 30b可以达到50tokens/s?

[laikey.lau]

差点意思啊。。

[wuyan]

你模型什么版本，多少量化的

[xiaoyun]

用的什么显卡

[wuyan]

这个是q6量化版本

[wuyan]

395核显

[xiaoyun]

厉害 啊 ~

[wuyan]

这个电脑官方优化过的平台，应该会快一点