# 本地部署模型经验分享

**URL:** <https://linux.do/t/topic/2382261>\
**Category:** 搞七捻三\
**Tags:** 人工智能\
**Created:** [2026 年6 月 12 日 02:36 UTC](https://linux.do/t/topic/2382261 "2026-06-12T02:36:33Z")\
**Posts on this page:** 1\
**Showing post:** 1

<div class="post-metadata">

作者： ![Autsun](https://cdn.ldstatic.com/user_avatar/linux.do/autsun/32/2040484_2.png) [@Autsun](https://linux.do/u/Autsun)\
发布日期： [2026 年6 月 12 日 02:36 UTC](https://linux.do/t/topic/2382261/1 "2026-06-12T02:36:33Z")

</div>

最近手上有个项目，是用本地部署大模型进行视觉检测  
测试了之前留下来微调过的Qwen2.5VL 7B，然后又测了新的Qwen3.6 27B，Qwen3.6 35BA3B，还有gemma4-26BA4B  
总体测下来，感觉qwen3.6 35B的最好用，由于是moe模型，所以速度比稠密模型快很多，5090跑的q5量化版本，能有230t/s以上，效果也是最好的，但是优化起来比较麻烦，如果训练lora的话得用原版模型训练，本地算力不够，估计得上云端，还在考虑有没有其他思路能够优化的

---

_[View the full topic](https://linux.do/t/topic/2382261)._