国产算力里程碑：千卡昇腾910C跑通DeepSeek 1.6万亿模型全参数后训练

前沿快讯
1

由深圳河套学院、哈工大（深圳）、深圳市大数据研究院与华为相关团队组成，并协同深智城 AI 算力平台的联合攻关团队，宣布在国产 AI 算力平台上成功跑通 1.6 万亿参数大模型 DeepSeek-V4-Pro 的全参数后训练（Post-training）。

这是全球第三方机构首次在国产算力平台上完成 1.6 万亿参数规模模型的全参数后训练。

相较于从零开始的预训练（Pre-training），后训练阶段（主要包括监督微调 SFT 与强化学习 RL）侧重于通过高质量指令和人类偏好对齐，教导模型遵循指令并执行特定任务。然而，对于 1.6 万亿参数的 MoE 架构模型而言，全参数后训练依然对底层硬件的显存容量、多卡间通信带宽（如 MoE 路由所触发的全对全通信）以及大规模集群的稳定性有着非常苛刻的要求。联合攻关团队依托超千张芯片规模的华为昇腾 910C 算力集群，通过优化分布式承载与负载均衡策略，成功克服了通信瓶颈。在长达 1500 多步的训练过程中，系统未出现一次中断，模型算力利用率（MFU）超过 30%，关键算子效率提升了 14%，各项指标均达到工业级运行标准。

业内分析指出，华为昇腾 910C 集群在万亿级模型训练上的成功跑通，印证了国产 AI 芯片在承载超大规模模型深度训练任务时的技术可行性。由于此前大模型研发的核心预训练多依赖英伟达 GPU 集群，国产算力此前主要承担推理（Inference）或小参数微调任务。本次联合攻关的成功，标志着国产算力生态正加速从「仅支持推理」向「承载超大参数模型全参数训练」的技术闭环过渡。

image
image637×359 51.2 KB

https://mp.weixin.qq.com/s/ZsXhzuJwIcqYFEujlKyQ0g

55 Likes
2

别说这么多有的没的，拿出来给我用用看才知道有没有真货 :smiling_face_with_horns:

15 Likes
3

听说deepseekv4.1好像在内测了，加入了多模态，还是很期待可以识图的deepseek的

6 Likes
4

这真是天大的好事，能够降低成本，才是王道，现在claude和gpt感觉也遇到瓶颈了，留出来时间窗口给我们了

5

我记得本来后训练可以在昇腾跑，而预训练不那么行呢:joy:

6

因为，预训练只训一次，量很大，成本很高。买不到那么多的华为算力，所以没人去试

后训练便宜一些，训练的量很小，而且会经常做，所以这次有人去做了

6 Likes
7

image
image2610×1144 160 KB
so 。。。

4 Likes
8

这是好事啊，越来越期待下半年的ds了

9

之前能跑的是DeepSeek-V4-Flash。现在是Pro，只能说有进度还算一件好事，总比之前的V4猜猜乐好。 :joy:

难不成下半年真的可以看到新华为卡跑预训练？不过也不知道多久才能看到。

10

这个利用率算高吗？30%？有懂行的吗？我之前用华为的算子都很拉跨的，算效率很低

1 Like
11

这个很不错了，以前的MFU利用率我记得只有15%到20%左右吧 :distorted_face:

12

狠狠的期待deepseek了
狠狠的降价

13

那是看和什么芯片对比把？我nivida显卡平时推理感觉利用率能跑满，算子优化很好.单卡也很好，希望国产能赶上把。
不知道推理性能怎么样。

14

我记得这个数据就是之前昇腾 910C 集群的MFU利用率，最近是上来了 :distorted_face:

15

这个消息一出来 v4.1 应该快了

16

同样期待V4.1，现在的V4后训练明显还有提升空间，V4.1pro其实有潜力和gpt5.5掰手腕

17

挺健康的正常水平吧。毕竟是集群跑，想要很高也不现实

18

刚发布的时候就可以了。。。现在怎么又跑出来，还是深圳发布。。。

19

是啊，我也感觉炒冷饭，本来验证可行的事情又不是什么突破…（加速有意义，但被过多的人以为是什么事情）

20

华为卡真的太贵了啊，能降下价格就好了