关于服务器部署大模型

各位佬,想问问大家有什么推荐的国内云服务器平台部署开源大模型,目前尝试了千帆平台,看各位佬友有没有其他推荐,也请教一下各位部署deepseek 32B,70B和671B都用的什么硬件。

2 个赞

预算多少,服务器部署大模型,尤其是满血,还输出快的话,这可不是个人能承受的起的数目

所以目前主要还是想再云服务器上跑跑效果,有几个大公司给介绍的一体机实在是太离谱了价格 :joy:

和我们这边类似,我们这边也想先在云上试试,你那边一体机的报价是多少?

支持70B的推理一体机报价二百多万一年。。。

正常。。。

先找公司要 1k 预算,找平台租用部署看看效果,再计算这个配置的价格

这是论坛里一位老哥的回贴,给你参考一下

1 个赞

感谢佬!

关键是这200一年还不包带宽,IDC和维保

目前就是看各位有没有更多云服务平台的推荐看看效果

另一位老哥的,


1 个赞

如需腾讯云的话可以喊我哈~有优惠!

感谢佬友分享