本地部署什么模型

[xmk (Jack)]

对本地模型需求不大，主要是应对一些没网的突发情况，选择参数少一点的10b以下的，看了几个榜单，排名差的太大，有

• Yi-1.5-9B-Chat
• GLM-4-9B-Chat
• DeepSeek-7B-Chat
  想问问各位部署的什么模型，体验如何呢

[mingliao (小诗音)]

就我自己的体验来说的话，gemma2:9b-instruct吧

[handsome (大帅哥)]

deepseek吧

[Yuju (崔裕姝)]

我选Llama 8B

[lengxi]

qwen2:7b
gemma2:9b
llama3.1:8b
我目前用的这3个