各位佬,想问问大家有什么推荐的国内云服务器平台部署开源大模型,目前尝试了千帆平台,看各位佬友有没有其他推荐,也请教一下各位部署deepseek 32B,70B和671B都用的什么硬件。
2 个赞
预算多少,服务器部署大模型,尤其是满血,还输出快的话,这可不是个人能承受的起的数目
所以目前主要还是想再云服务器上跑跑效果,有几个大公司给介绍的一体机实在是太离谱了价格
和我们这边类似,我们这边也想先在云上试试,你那边一体机的报价是多少?
支持70B的推理一体机报价二百多万一年。。。
正常。。。
先找公司要 1k 预算,找平台租用部署看看效果,再计算这个配置的价格
感谢佬!
关键是这200一年还不包带宽,IDC和维保
目前就是看各位有没有更多云服务平台的推荐看看效果
如需腾讯云的话可以喊我哈~有优惠!
感谢佬友分享