Qwen3.8-27B-UD-Q6_K_M.gguf版本用了1个多月了,上下拉到512K,目前是使用最稳定的。另外现在考虑要不要换成Q提升一下速度
这两天又尝试了其他各种上榜的量化版本,吹得多快跑分多高,上下文一多就会变傻直接循环
Qwen3.8-27B-UD-Q6_K_M.gguf版本用了1个多月了,上下拉到512K,目前是使用最稳定的。另外现在考虑要不要换成Q提升一下速度
这两天又尝试了其他各种上榜的量化版本,吹得多快跑分多高,上下文一多就会变傻直接循环
| 话题 | 回复 | 浏览量 | 活动 | |
|---|---|---|---|---|
| Qwen 3.6_27B Dense 单卡部署5090 60+toks/s质量可以,够用了~ | 6 | 457 | 2026 年4 月 24 日 | |
| qwen 3.6怎么样 | 3 | 317 | 2026 年3 月 31 日 | |
| Qwen3.6-35B-A3B 5090单卡部署,200+ toks/s | 34 | 994 | 2026 年5 月 16 日 | |
| 这个版本的qwen3.8 27b量化真的不错! | 11 | 714 | 2026 年9 月 2 日 | |
| 请输入文本!q4量化版qwen3.8next本地部署编写高保真3D魔方 | 3 | 271 | 2026 年9 月 1 日 |