如何本地跑 34B 的模型?

是必须用到 80-100G 显存的显卡么?或者用量化模型?有什么差异么?

或者有什么性比高一些的方案么?只是想测试下这种量级的模型能不能产出我想要的结果的。

1 Like

可以试试 https://modal.com 每个月30刀

似乎 80G 显存得 $5.59*24*30=4,024.8=¥28,954.31,如果跑满的话 :sweat_smile:

你要一直跑肯定贵呀,但是尝试一下还是可以的

的确是,:pray:

From #develop:qa to 开发调优