老机器配置: i5-9600 / Nv4060 / 64GB DDR4，内存是前年700元囤的，利用率不高…
直到近期看到Strata，能跑起来IQ3_XX3模型、上下文200k。
上来就让它把我自己蒸馏一下。硬件全满载，开心了。
EDIT: 老机器是指…大约2017年买的神船笔记本电脑（主板Z170+台式机CPU+1050TI）。这些年逐渐替换了：魔改BIOS上9代CPU、大内存、Oculink外接显卡。忒修斯之神船了。
4 个赞
等到了月底说不定能换成qwen4
1 个赞
佬友能跑多少t/s 智力怎么样 够用不
1 个赞
画个鹈鹕看看啥效果，这模型拿来写代码靠谱不
2 个赞
平均大概 输出20/填充150（看截图）
我去，别人的老机器配置真高，我的老电脑还是5代，1050TI,16G
1 个赞
这也算老机器吗。。。那我的2070算什么
我有一台5600G 3080ti显卡可以部署么。准备搞个玩玩
显存+内存>48G就能跑IQ2模型。Strata主要是用内存代替显存，非常适合我这个情况，内存大、GPU弱。
我的才32+12=44G 那只能跑轻量化 好像有个27B 再去研究下，现在内存条太贵了。以前没买亏大发