最近手上有个项目，是用本地部署大模型进行视觉检测
测试了之前留下来微调过的Qwen2.5VL 7B，然后又测了新的Qwen3.6 27B，Qwen3.6 35BA3B，还有gemma4-26BA4B
总体测下来，感觉qwen3.6 35B的最好用，由于是moe模型，所以速度比稠密模型快很多，5090跑的q5量化版本，能有230t/s以上，效果也是最好的，但是优化起来比较麻烦，如果训练lora的话得用原版模型训练，本地算力不够，估计得上云端，还在考虑有没有其他思路能够优化的
5 个赞
大概来说，现在我用的32G的卡跑的话，用qwen3.6的量化版可以跑得很快，因为刚好不用卸载到CPU，都可以在显存上面跑，如果你的卡只有24G，可以试试用gemma4 26BA4B的量化，这个会是最快的，因为24G跑35B的就得卸载到CPU，会慢特别多
都是Q4-Q5量化，如果视觉需求要求不高可以试试APEX量化的，那个更省显存更快，但是视觉能力我测试起来好像差一点
大佬，qwen3.6 35B是有全参数测试过嘛，想做一些素材的视觉拆解
你这个需求可以用它试试，我测试的话只测试了我项目需要检测的内容的，我们自己的数据集，整体准确度这个是最高的（受限于硬件原因，除了qwen2.5 7B都是量化版），35B这个没微调，效果就比2.5VL 7B的微调效果还要好
看你的显存，如果你显存足够可以试试35B的，部署起来也不麻烦，GGUF的可以用llama.cpp，awq之类的量化可以用vllm之类的，这两个我都测试过，gguf的加载速度会快很多，实际能力的话感觉好像差不太多吧
1 个赞
佬有没有发现qwen从3.5开始经常会反复思考跳不出来，一直循环，你是怎么解决这个问题的，我使用的llama.cpp部署的
我这边需求不需要很长上下文，每次都是新对话，所以不会出现这种情况，这种是小模型上下文太长容易发生的吧，你上下文长度设置的多少，跑到大概多少出现的