有没有佬友评估一下一套能跑glm5.1满血的服务器要多少钱
15 Likes
虽然很蠢的问题，但是我也想问，事实上我觉得glm5.1已经不逊色外国一些模型了，如果能自己跑一套长期用完全可以胜任目前很多中小企的开发工作
3 Likes
对的对的，我就问着玩玩。glm确实不错啊
满血需要几台顶配mac studio吧，大概几十万。
GLM5.1
huggingface上好像说是有754B的参数
文件大概1.5TB
所以至少需要1.5T的显存
所以至少需要20张H100堪堪跑起
要流畅还得加
所以差不多得60多万刀显卡钱吧
而且模型文件这么大不得上3T的SSD
6 Likes
看你这个所谓的满血是指的什么了，fp8量化的要求就能低点，但是目前满血版的话至少可能需要32张 昇腾910b，换成h100估计也得50张才能达到上下文比较长体验比较好？1张3万50张就是50×3=150 至少150万给显卡，内存至少1比1这样？50×80=4000 算4t吧，加上cpu硬盘至少得小170-180万之间吧？
这只是硬件设备，电费的话估计也不便宜，如果个人用感觉还不如花钱用官方的.
这个60万单位是$了呀?那不是得几百万了?
我们本地部署的两化办minimax2.5用了3张pro 6000，性价比比较高
差不多吧，还没算电费，极限可以跑到700瓦，20张14kw
1 Like
不用量化版本大概32张H100，只能一个对话session w
还有考虑能不能有这么大功率的电源/冷却设施 w
1 Like
要是个人使用跑满血的钱不如买官方套餐了
4 Likes
（猫猫试过？）
32张就1并发啊……
22.4KW的功率了啊
2 Likes
如果不是对数据隐私要求高，那还是付费使用划算
一般来说，列出模型大小列表丢给ai问就有结果了
没几十张h200不好意思跑自建模型
个人要本地部署满血版本，肯定是亏本买卖，可能半年后你的硬件就过时了，又费电又慢
别人很多卖TOKEN的都是亏本来抢用户，个人部署就别想回本了
8 Likes
看别人试过 w
猫猫…买不起呜 w
这个参数量的模型，不量化基本跑不动的 w
那倒也是w……
而且要回本可能就是遥遥无期了
1 Like
我去，这么夸张的吗，GLM经常限流突然有点能理解了。。。。
2 Likes
昨天还真看到一个中转站站长在搞显卡，装备自己部署glm，我在想真的能回本吗，如果满血的话