72B要人民币100多万？之前有人问我能不能自己训练模型，我下次好应付一下。我啥也不懂，只是想他死心别问我
17 个赞
@eep
100多万还是太夸张了吧…
671B都不一定需要那些钱
你可以搜一下A100，H100等显卡的价格
再根据部署需要的条件粗略算一下
其实部署的时候租用显卡就行了
具体可以看看云服务提供商给的价格（例如腾讯云）
租用的话就不是太多了
2 个赞
觉得我说的有道理麻烦点个【解决方案】 
我不懂啊，看看有没有其他人说
勉强能跑和流畅运行所需的硬件天差地别。32b 用 3080 10G 即可运行，但速度奇慢，而且最大上下文也少。
72B 流畅运行，像R1这种模型。得吃多少硬件？
141GB+的显存是最起码的硬件成本，一张80G显存的A100大概是15万人民币吧，两张显卡再加上cpu、内存、nvlink、硬盘、主板、电源、网卡等等，保守估算50万搞定了
2 个赞
带Distill还是蒸馏的是吧，如果不带是不是要更多？
不带那就是671b参数量的模型，那需要1.4TB左右的显存
恐怕300万都未必能搞定呢
恐怖如斯
所以穷人还是需要量化版本，搞个ollama自娱自乐下蒸馏的70b-r1，弄个64G内存的mac mini也就1.5万就能私有化部署run起来了
高估了。激进点4bit量化一张H20完全够，8bit几乎无损两张也够了。
50w？打对折！
Btw，现在小黄鱼有魔改2080ti，保守估计4张卡5w大洋，自己用 10 token/s 差不多够用了。
671B不止这个价，还得看配置倒是
自娱自乐1.5w
这不是穷人 是富哥
有这钱，都能买多少年o1pro了
这不是重在穷折腾嘛