Qwen3.8-27B是66层，追求精确或者想手动调整的可以-ngl 66
已改为--load-mode none
另外，一些速度测试。
github.com/AaronXenos/llamacpp_probe_max_ctx测试当前显存下指定配置可开最大上下文数
2 Likes
ggml-org/llama.cpp/releases
Windows x64 (ROCm 7.14)
Ubuntu x64 (ROCm 7.14)
直接下带有ROCm依赖的包，然后cc调整参数，推荐命令行加上--verbosity 4，方便调整
本来完全没希望了，看来要在我的 4060ti 上试下
显卡型号：5060Ti 16GB
大佬，我在Windows环境上使用 LM Studio跑 Qwen3.8 27B上下文只能开到10240，非常容易出现Token超限的问题。
我的还少一点，Q3上下文只有4.2k
佬，这个意思turboquant技术已经在llama中加入了吗，具体什么版本？需要开启什么参数吗
大佬 我的5090d 24gb 部署哪个呢 现在用不了，折腾几天了 
，我想用在chatgpt里 可以吗
没有
就是llama.cpp用了tb的核心技术，然后优化了自己之前的方案
直接用就可以了
显卡接显示器了吧，可能是可用显存不足导致的？
1 Like
显存富裕（不外接显示器）的话，可以用UD-Q4_K_S，稠密模型全放在显存中比拆分要快得多。
1 Like
有外接显示器，还是4k的。刚刚把模型停止，稳定在1.7G显存占用。
是这个道理，不过我 25t/s 的 decode 够用了就没用更小的
1 Like
推荐使用nvfp4量化的版本，具体可以找一下社区里下载量比较多的，你的上下文配合q4kvcache量化应该可以做到192k-256k
不是 只是参考turboquant对自己ctk、ctv的q4_0量化做了优化
首先一个问题是kvcache的量化会直接影响上下文长度，另外就是其实即使外接了实际上也不会占用特别多的显存，它有一个动态调整。主要还是多看看kvcache是什么量级吧
1 Like
在此感谢 @asxix 大佬的硬核指导，问题已解决，步骤如下：
- 将显示器切换为核显输出（重新插拔 HDMI 线），释放被桌面显示占用的显存；
- 弃用 LM Studio，改用 llama.cpp，通过
llama命令行直接运行模型。
最终效果：
unsloth/Qwen3.8-27B-UD-Q4_K_S，32K 上下文，输出速度 34–40 token/s
2 Likes
4张4060ti，跑的3.8-27b的fp8+上下文256k的。单并发52token/s。但是鹈鹕骑车 感觉脚不跟着踏板，感觉勉勉强强
12G显存遗憾离场，只能等天顶星再次量化到2Bit看看了
可以试试9B empero-ai/Qwen3.8-9B-Distill-GGUF
prism-ml/Ternary-Bonsai-27B-gguf
在用这个qwen3.6-27B 比3.6的35B-A3B强至少
1 Like