上下文能拉到多少？太小了没啥意义啊
算是一个别人自己写的框架，专门针对mac上运行qwen3.6 27b的，对llm之外的无用，甚至qwen 3.6 27b之外的都不一定有用
小模型qwen最权威，没有一家比得上的
没本地部署过，问下mac M5 max，128G 能部署吗，大概token速度多少呀
如果能部署的话，使用哪个量化版本比较合适
魔改指的什么呀佬，2张4090够不
这周都快结束了，为啥一直不上传呢
没了解过小模型，能做到什么效果啊佬友
有什么 比较实用的场景么 小模型 
真狠啊之前的3.6的27B处理补补代码还是不错的,期待这3.8可以直接接手干活
1 Like
对的，去年公司买的15w，现在涨价了，也是跑27B
qwen3.8max 现在也很强了，就是渠道少和贵
小模型方面qwen是唯一的神
也不能这么说吧佬，在≤200b 的小模型里面，qwen 啥都有，而且效果非常说得过去，这方面暂时没有追上来的，很多做科研的都是用的 qwen 小模型
1 Like
都是附带mmproj的，按需加载，这个挺小的。
这个价位为啥不买Pro6000?架构新而且有96G
应该是vlm的模型吧，现在搞科研确实需要这种小型高效的vlm模型，不知道qwen还会不会发布更小一点的
现在只能期待一个量化+破限 16G显卡/16Gmac能流畅跑的。
或者能在2080ti22G上跑到20-30左右都行，立刻下单
1 Like
我更希望有一个 deepseek-v4-flash-lite 差不多30B-A3B或者27B这种