DeepSeek mHC成功复现：1.7B规模下常规HC信号激增万倍，mHC展现绝对稳定性

开发调优
1

人工智能研究员Taylor Kolasinski发布了对DeepSeek提出的“流形约束超连接”（mHC）架构的大规模复现报告。在动用8张H100 GPU、将模型规模扩展至1.7B至2.5B参数后，实验证实：未受约束的传统“超连接”（HC）架构在训练中出现了高达10924倍的信号放大，成为埋在大型语言模型中的“不稳定定时炸弹”；而DeepSeek提出的mHC架构则完美解决了这一隐患，在不损失任何模型性能的前提下，展现出了绝对的系统稳定性。

在Transformer架构中，残差连接本应保证信号在层层传递时大小保持不变。然而，为了提升模型表达能力而引入的HC架构打破了这一守恒。实验数据显示，在1.7B参数、32层深度的模型中，HC架构的输入层（Layer 0）最先失控，导致信号在传递过程中被极端放大了超一万倍。在针对64层深度的压力测试中，该放大倍数甚至飙升至14765倍。这种剧烈的信号震荡意味着模型在训练时需要消耗大量算力去自我修正，随时可能导致训练崩溃。

DeepSeek引入的mHC架构通过Sinkhorn投影的数学约束，强行恢复了这一守恒定律。在所有测试配置下，mHC将信号放大倍数死死锁定在1.0（即零放大），没有出现任何波动。更关键的是，最终的训练损失曲线显示，mHC与HC在学习效率和最终能力上完全一致。这表明，mHC不仅彻底拆除了千亿级大模型训练中的“不稳定炸弹”，且无需缴纳任何性能税。

原文：

PixPin_2026-01-19_09-49-30

9 Likes
DeepSeek-R1发布一周年：推倒的围墙与AI的突飞猛进
2

简单归一化就达到了这个效果？

3

不得不说搞机制创新还是DS

4

有点离谱

1 Like
5

现在的焦点在 mHC 有这些优点没错
但除了训练时间延长 ~6% 之外，还有哪些缺点?
所以先等 deepseek 出新模型吧

6

年底ds肯定有一波大的，我是很有期待的，希望能让英伟达暴跌，顺便让显卡、存储价格回归正常

2 Likes
7

都铺垫这么久了，v4赶紧拿出来吧 :bili_040:

2 Likes
8

越来越期待即将发布的 DeepSeek 新模型了

9

这么强！

10

大D不会用600B参数的V4 干赢1.8t参数的模型把

11

有engram了，估计不止600B了

12

太吊人胃口了，好似回到了6月份天天盼望gemini 3的时候

13

像上一次暴跌应该是很难了，上一次暴跌就是市场过度反应，DS 和英伟达本来也都是 transformer 阵营的，DS 开源出来英伟达完全可以百倍部署。
黄仁勋去年说了很多次感谢 DS，因为很多企业买 GPU 部署开源模型，还有训练类似 DS 的模型
AI 的需求是无底洞，就算效率提升十倍，智能体也能消化掉这些 LLM
而且英伟达现在向机器人VLA 这类模型靠了

14

你可以放心老黄的股价管理能力，做游戏显卡的时候就挺NB的