昨天苹果放大招，新款Mac Studio M3 Ultra可选配512GB超大统一内存，价格不到1万刀，直接拉低了AI部署门槛！我算了算，按EXO Labs创始人Alex的说法，两台就能跑满血版的DeepSeek R1，671b参数随便玩，推理速度飞起。个人AI主机的时代真来了，企业也能超低成本搞定私有大模型。昨天还在纠结买不买，今天已经想好怎么用它写代码、跑模型了——这波性能溢出，性价比直接爆棚！你准备入手吗？还是说，已经在脑补自己的AI帝国了？
27 Likes
671B 好像是6710亿 
3 Likes
B=10亿 啊w
都有这个了跑70b？
2 Likes
是的 671b的满血
1 Like
billion 
1 Like
对的 改了
1 Like
关键这个两台部署起来吐token速度快不快啊？
这是搞笑吗？统一内存速度太慢了而且跨机，何况 2 台也不够啊。
2 Likes
能用就行 有些地方部署7b的还开个发布会
3 Likes
能用比没有强吧
1 Like
抛开成本不谈是吧，两台要 22w 诶
2 Likes
从DS官方开源的来看，他们为了优化集群部署提高效率做了很多优化工作，自己用机器跑exo集群效果要大打折扣了。目前看来性价比最高的应该是AMD服务器U，配64Gx12的内存，加一张4070ts，跑Q4效果已经非常不错了。
6 Likes
看看你们买！
有点想整一个玩玩，不过又想再等等M4 Ultra。（虽然也没这个钱，只是想想）
如果只是想想，何不大胆一点 
要两台才行啊，有没有大佬先给来做个评测？
1 Like
实际上并不慢其实，一台可以跑4bit量化，理想能跑20t左右，跨机可以用lightning
7B其实完全不行，蒸馏太厉害，知识也不够丰富
4bit精度不行啊
1 Like
qwq-32b来了 也不错