算例服务器购买 用于大模型训练

开发调优
,
1

佬们 我们老师现在有个项目预算20-30万 想拿来买算力服务器 叫我们列个相关算力服务器列表给他 但是我不懂 有哪个佬有空 介绍介绍吗

2 Likes
2

租的更划算 20-30跑什么模型？

1 Like
3

大模型 估计想跑32B的

1 Like
4

训练还是纯推理

5

都有的 现在用的是租的8张A100来弄

6

32B这个预算也就买一个a100能推理吧

7

32B训练这个预算肯定不够的，能训7B就差不多了

8

7B目前就有一张A100了

9

现在一个a100就得10-20w，再加上配套乱七八糟的东西，玩玩微调应该可以