模型详情页 · 魔搭社区
不知道角色扮演咋样 
要是有小模型和35a3b就好了(
6 个赞
Qwen 的小模型一直很不错，无论是本地部署还是微调可玩度都挺高
期待35B A3B
2 个赞
我的配置3090基本只能跑4bit，等社区出来估计还要多等一个小时
2 个赞
热度很高 全球都在等。
这次没35B太难受了，35B的那种畅快拉token的感觉，用过再也忘不了。
27B 4090只有45tps 35B有150tps。
实测同一个任务35B只要1/4的时间，秒回的感觉就是爽
2 个赞
ber “马上见面！”是什么喵
35b不是参数更大吗，为啥比27b还快
出来了吗？我永远爱 qwen 的小模型 ~
因为 35b 其实是 35b-a3b，moe构架，激活参数小。
27b 是稠密的。
各位大佬们，我的是5090d 24gb的 大家推荐部署哪个？ 如果都占满 感觉温度太高了，而且是不是应该要留一些显存给其他使用呢？或者说 可以同时多处进行调用，求大佬们推荐
unsloth做量化是真快啊
5090的话就NVFP4的27B呗，上下文做做量化，看着剩余显存空间给。