Bonsai-2-27B:基于Qwen3.8 27B的究极量化几乎无损性能版

[fengchris]

官方博客：PrismML — Introducing Bonsai 2 27B: Near-Lossless Compression in a 9x Smaller Footprint

权重：Bonsai-2 - a prism-ml Collection

[eugeneL (eugene)]

我去画个鹈鹕试一试，看起来大小还好
耗时5分钟把16k上下文干满了，调整128k试下
耗费33k token q2 5080 laptop 初始44/stoken 最后37，降速曲线大概是平方曲线

[ChiyoSekai (咪叭)]

怎么Agentic 和 Coding, 3.8 比 3.6 还低？

[fengchris]

等佬友的测试 感觉8G就能跑起来了 不知道速度怎么样

[xiking872 (v0ens)]

Ternary-Bonsai-2-27B-PTQ1_0.gguf

Q1_0 还能正常用吗？

PTQ1_0（密集三进制） 这好像不是我们平时理解的 Q1

[AmeowCAT]

之前Qwen3.6时候也是这家 量化到Q1说是有95%的性能 一直不知道是什么黑科技

[freebsdfx (vfx)]

可以的，unsloth以前就宣传用1bit写代码来着。不过尽量用2bit吧。

[Grumble8167 (8817)]

等个实测，看看到底有多猛

[byxy (咸鱼)]

这么小，可以本地部署玩了，不知道智商跟不跟得上

[xiking872 (v0ens)]

尝尝咸淡

[Eic]

大概率是吹的，上一代就拉完了。

[Z-code (金陵雪)]

等个佬测试反馈，我是不信的，这些人的数据真的离谱

[qbter (行云)]

等大佬测试，看看这个PQ2的效果如何

[mendon]

等大佬们的测试结果，看一下性能怎么样？

[xiking872 (v0ens)]

PTQ1:

糖果问题雷霆大思考之后还是29

[xiking872 (v0ens)]

这也太能思考了吧… 等的着急

[xiking872 (v0ens)]

不知道是不是死循环了

[xephyrin]

急急急，速更，日不能寐，在写一千万token的

[aikooor]

这个跟qwen3.5-9b-6bits的官方量化版本哪个好一些…看起来显存基本都一样大

[xiking872 (v0ens)]

折磨人