英伟达m20 192显存建议部署啥模型？ qwen3.8 27B？ 还有更好的选择吗？

开发调优
, , ,
1

给客户现场部署模型，3.5 122b太拉了，根本不读skill，十分弱智，人讨论后先换3.8 27B， 我想知道还有更好的选择么

2

qwen3.8 27确实是最好的选择了

1 个赞
3
2 个赞
4

strata部署qwen 3.8 flash next更好吧，激进点DeepSeek v4.1 也可以

3 个赞
5

你确定是192gb显存，估计可以试试deepseek，用不了没事，可以试qwen3.8-flash-next，那个肯定行

6

建议用Qwen3.8-Flash-Next，虽然IQ和qwen3.8 27B差不多，但Qwen3.8-Flash-Next是moe，速度更快

2 个赞
7

佬不好意思是4张L20的卡，也能搞把？刚给我打电话听错了。 问gpt说可以，实际体验 得问问 佬们

8

佬不好意思是4张L20的卡，也能搞把？

9

绰绰有余了 速度应该会很好
这个模型很多人用strata 16显存 64g内存跑都不错

2 个赞
10

为什么选择ds v4.1 f就是激进了？我看好多部署都是用qwen或者minimax的，好像用dsv4.1的好像并不多。

11

因为ds4.1flash很大，就算192g显存也未必跑得起来或者很勉强