我想基于开源模型自己再训练模型有可能么，我公司就只有几张L20，几张4090，只为训练一个专用于编程的模型，可能有点狂，纯粹想多些技术可能性，想让生产力更高一点。
直接回答：不可能
这点卡连做RL的都不够，更别说做预训练。
千卡是门槛
完全可以，但是你这体量训练出来的模型能力不如国内的云端模型，看你需求吧。
你一定要清楚能用和能力是两码事
训练和推理的算力需求差的可能有点多了，佬友公司的卡翻100倍都够呛。话说有什么自己训练的必要吗，如果是合规的需求，本地部署开源的就行啦。
可以的 huanlin/akaya HuanLin/ayaka 已经过去一年了吗 - 搞七捻三 - LINUX DO
但是很难和大公司比
可以是可以，但是你的显卡跟你能训练多厉害的模型是成正比的，而且很可能做出来只能随便玩玩，不如直接找别人已经训练好的
训练就别想了，部署一下开源的GLM、KIMI可能有戏。
可以但不代表能用 基本上弄个几B的小模型 应该可以
单一领域，几B的可以的。不过你基于开源模型搞有点难，因为你只会比之更大不会更小。
已经有一些就是单独领域的小模型啊，比如minerU的
够呛，就好比刚学会玩乐高就要建摩天大楼了，还不如找现成的玩。
开个玩笑： 开中转站/利用英区Plus漏洞卖plus先赚一个小目标 然后就可以训练你的大模型啦
不是很推荐自己训练或者微调。不仅是硬件条件，数据集准备、超参调优都会花费大量心血
想办法把现有的开源模型部署上去更现实一些
可以
ai 模型又不只是 llm 一种，你可以发其它模型
算力太少了，顶多可以微调一些小模型。预训练一个有价值的大模型起码得万卡级别，后续的 rl 也得千卡
之前Karpathy手搓gpt-2都是拿八卡A100啥的搞。而如今GPT-5.4的参数规模已经比2代大了至少几百倍。至少pretrain是甭想了，微调感觉sota模型这个算力也不是很行。可能顶多也就微调一下GPT-3这个规模。
可以但是要看你的需求，如果只是玩玩肯定没问题，如果想要生产力目前来说你这点算力根本不行