哪个模型比较适合离线本地部署日常使用？

开发调优
1

补充配置：3070 16GB + 32G内存，笔记本淘宝找人加的显存到16gb
马上要驻场离线开发了，目前尝试了ollama本地部署了qwen3-coder-30b-a3b的4位量化版本，可以给roocode用，想问下如果做其他常规开发知识问答、错误debug，哪个模型比较好？

2 个赞
2

先发配置

3

没实际搞过，不晓呆，同求

4

小模型最好配rag用……

6

qwen3/qwen3-coder 系列选择显存可用的，主要是开发知识，选 qwen3-coder 比较合适
gpt-oss-20b

需要识图的话
qwen2.5-vl 选择显存可用的

因为无法联网，受模型参数所限，需要谨慎对待回答

如果有支持 RAG 的应用，可以考虑建个专门的知识库，效果会好很多
比如，针对性的找几本合适的书，然后做成知识库

7

我的建议是不如买Key。首先是上下文的问题，其次是token生成速度问题

8

看好题主的需求

9

估计不行, 参数太小写代码实在太弱了. 你还是通过手机用AI吧, 不至于驻场把你手机都收掉了.

10

16G的显存确实是有点捉襟见肘了，上下文长度开不高，如果是24G的话还可以跑个7~9B大小的模型，但是日常使用比较勉强。
如果混合显存内存的话，PCI-E的带宽又不足以支撑快速推理。
建议生产力还是找MaaS平台。比如说我们，嘻嘻 :laughing: