不能只看算力吧，3090算力强，t/s 是多，但是显存低啊，35b的模型应该不够吧，就算够，上下文估计一长，就oom了
是的佬。
我是感觉除非有很重的破甲或隐私需求，都不如买套餐。。买到同等表现的 api 要花的钱肯定少得多
1 Like
AI的“智能”全是靠参数量堆起来的，小模型注定是白痴，这样的折腾很难说真的有意义。
1 Like
是沒錯，樓主應該是說a3b 4bit只要20gb吧
3090顯存不低了（比起很多16gb以下的顯卡）
a3b 說真的上下文超過60k 大概就完蛋了，不用需要跑到oom
下一条：受够了，购买H200
5 Likes
说的在理，不过正好我的M3 Pro该卖了 
不说算力的问题，开源模型现在就没有能打的吧。。。
1 Like
你这配置可以跑27B的
可能 copilot 免费的 gpt-4o 都比自己部署的要聪明。。。
看到楼上的回复，本来打算买Macmini ，也装一下本地模型的，我迟疑了
本来我的需求御三家可以满足了，只是最近稳定的御三家不好找
是的，我怎麼會知道，因為我本地都測過
家裡有40gb vram以上的gpu設備
我的底線是15t/s 低於這個。。。根本沒辦法上生產
1 Like
感觉你是单纯老设备想换新了 
3 Likes
另外，如果項目大一點的
真的不建議你用a3b…
除非你公司有特別需求（隱私）
嗯嗯，我看测评好像27b综合下来最优
1 Like
拿这些钱，你看看能买到几年的coding plan的套餐
站内的阿里套餐随便用
你这帖子也太乐了 
你那小机器算冒烟了都改不出一个文件
拿这钱买套餐都够你用好一阵了
1 Like
之前看到过模型排行榜，3.5 27b相当猛，可以试试这个
A3B表现其实挺差的, 在世界知识上可能会好一点, 但是逻辑上比27B差的多. 我之前A3B之前拿去玩角色扮演这种弱逻辑任务的时候都会经常错乱, 27B就正常多了(也可能是我量化的问题, 我是2080Ti, A3B大概能到90tps, 27B只有20tps左右)