梁文锋和DeepSeek想做啥 革新大模型架构

新年伊始，DeepSeek发布了一项新研究，提出了一种名为mHC（流形约束超连接）的新网络架构。这项研究旨在解决传统架构在大规模模型训练中的不稳定性问题，为下一代基础架构的演进提供了新的思路。

论文《mHC: Manifold-Constrained Hyper-Connections》由DeepSeek创始人兼CEO梁文锋等人共同撰写，解振达、韦毅轩和曹焕琪是核心贡献者。近年来，超连接技术通过拓宽神经网络的信息传输通道，提升了模型性能，但也带来了大规模训练中的不稳定性和高内存访问开销等问题。

DeepSeek的新论文针对这些问题提出了改进框架——mHC架构。这一架构类似于给超连接的信息通道加上一套“交通规则”，在保留性能优势的同时，恢复了信息原样传递的特性，使模型训练更加稳定且易于扩展。简单来说，如果将AI模型想象成一个很长的计算链条，传统的计算链条信息传递时容易堵塞，而超连接方法虽然加宽了管道，但水流过猛可能会损坏水管。mHC则相当于给水管加装了智能调节阀，确保水流稳定，运行更省资源。

DeepSeek表示，mHC为未来的研究开辟了多个前景广阔的路径，希望它能重新激发学界对宏观架构设计的兴趣。从行业角度来看，mHC可能让企业在训练更大规模的基础模型时减少硬件投入、缩短训练周期，从而降低大模型研发门槛。此外，训练稳定性和可扩展性的提升有助于大模型在更复杂场景中的应用，如多模态模型和工业级智能决策系统。

有行业人士认为，DeepSeek的研究是底层创新，结合此前积累，预测其有望在未来版本中做出重大更新。尽管2025年初以来，DeepSeek尚未正式推出R2或V4等重大版本，但在模型迭代与开源方面持续发力。例如，12月推出了DeepSeek-V3.2与V3.2-Special，11月底开源了数学推理模型DeepSeek-Math-V2，成为目前首个达到国际奥数金牌水平并开放使用的数学模型。