请教下大佬们,关于大模型如何自己训练

就是基于平台能力,自己投喂,然后调用Api进行应用

大模型训练的语料和硬件怎么解决?其实如果想玩可以先去抱抱脸搞个模型进行微调,一般开源模型微调、推理什么的都弄好了。

2 个赞

微调也没有免费的GPU用,colab免费显存不够

1 个赞

aws p5.48xlarge

1 个赞

老价钱了

1 个赞

好的,先去搞个模型玩玩先,能有平台提供训练最好

算力可以用 autodl ?

1 个赞

可以找M2及以上的大内存Mac或Mac studio,内存当显存用,Pytorch改 ‘cuda’ 为 ‘mps’ ,算是现阶段个人向硬件最低的玩法了

1 个赞


阿里云免费试用 - 阿里云 阿里云有个500块额度的 A10/V100/G6

1 个赞

再水水 :grinning: :smiley: :smile:

1 个赞

自己微调玩 成本还好 不高

1 个赞

训练模型怕是会比较贵。大致是微调开源模型吧。

autodl 租比自己买GPU的性价比可能更高,不过下载抱抱模型及外面的模型的速度不行,通过代理或镜像也慢。

墙外也可以租GPU,runpod 好像不错,价格比 autodl就会贵点。

colab、kaggle以及sagemaker aws等等免费GPU做小模型(小于7b?)微调或许可行。

2 个赞

好家伙。。。我特意去搜了
才发现抱抱脸是huggingface。。。。。。。。。。 :sweat_smile: :sweat_smile: :sweat_smile:
我还以为啥不知道的好地方