被赞誉为“国产之光”的DeepSeek，凭借“专注于降低算力成本、提升模型数据处理效率，为全球开发者与企业提供高性能、低成本的AI解决方案”等宣传亮点，走进了国人视野。

在DeepSeek惊艳亮相后，智能算法研究中心的黄翰教授就大众关注的几个问题作出了如下回应：最近，很多人都在问我同一个问题——DeepSeek究竟是如何做到以不到十分之一的成本，训练出通用大模型的？关于这个问题，我想从两个方面进行阐述。首先，从DeepSeek公开的论文和技术资料中，我们可以发现两大关键技术点。

        1.MOE多专家框架

        训练效率和训练代价是紧紧相关的，这一点在相关论文中有所体现。这个MOE框架可以理解为多专家模型处理框架，就是通过分解复杂任务，提前训练好专家模型。这些专家的模型各司其职，有的管主题，有些管逻辑，有些管推理偏好。通过这种方式，在训练过程中，值得激活的参数会被激活，而不值得激活的参数则不去理会。根据官方公开数据，如果模型有 200 多亿个参数，实际被激活的参数可能仅为20亿个甚至10多亿个，如此一来，计算代价就能降低至原本的1/10。

       可以把这一过程简单理解为管理多个房间的空调系统。想象一下，你有很多房间，但并非每个房间都有人，不同房间里的人数和需求也各不相同。在这个场景里，专家模型就像是智能调控系统，它会先判断每个房间是否有人。对于无人的房间，就关闭空调或暖气，避免能源浪费；对于有人的房间，则依据人数来调节温度，以达到舒适又节能的效果。这背后体现的就是节能理念。 

        然而在我看来，这种调节方式并非总是关键。就像有些情况下，某个房间开不开空调、开多高温度，实际上对整栋建筑的整体舒适度影响不大。对应到DeepSeek模型上，某些参数被激活与否，实际上对整个大模型的应用结果并没有实质性影响。

        2.强化学习技术

        DeepSeek借助强化学习来训练优化模型参数。简单来讲，无论模型规模大小，其整体功能都取决于模型结构的参数权重。在常规的数据训练过程中，主要是通过调整模型的参数权重来实现优化，那具体怎么优化呢？这就是强化学习的核心任务。与最优化理论中的梯度下降法等经典方法不同，强化学习侧重于策略优化而非直接从大量标注数据中学习，减少了对标注数据的依赖，因而减少了对算力的消耗。 

       不过，在大模型的完整训练流程里，强化学习和预训练是相互独立的环节。当预训练采用微调策略时，强化学习的奖励机制计算会被纳入总训练耗时中。然而，依据官方公布的数据，并没有明确给出强化学习的耗时数据。这就引发了我的疑问：强化学习的耗时究竟有没有被计算在内呢？

       除了官方公开资料，黄翰教授通过观察分析，还发现了DeepSeek节省训练计算代价的另外两个关键因素。 

       成功关键1：数据质量优 

       以烹饪为例，炖羊肉或鸡肉时，如果食材本身品质上乘，不仅炖煮耗时更短，炖好的肉还软烂入味；反之，如果肉质不佳，就需要耗费更多时间和能源，才能让肉达到理想的口感。这个例子其实是在说，优质的训练数据不仅能产出高质量的训练成果，还能降低训练成本。众所周知，DeepSeek所使用的中文数据质量远高于GPT，所以在相同计算成本下，DeepSeek的训练效率更高，计算资源的消耗也更少。

        成功关键2：获取高质量数据

        DeepSeek通过对原始数据进行预处理，运用类似萃取、蒸馏的技术手段提升数据品质。但在数据质量提升过程中所消耗的算力，是否被纳入整体训练耗时，从公开资料中无法得知。这意味着，目前我们讨论的大模型训练代价，并未涵盖获取高质量数据阶段的成本。实际上，深入研究大模型应用就会发现，算力消耗并非最关键的难题，获取高质量数据才是真正的挑战。

        打个比方，将顶尖的算法工程师比作厨师，高质量数据则是上等的食材。如果食材品质欠佳，就会对厨师的技艺提出更高要求。可见，厨师的厨艺与食材的质量都至关重要，而烹饪时使用的能源（类比为算力消耗）并非核心要素。毕竟，无论是煤气炉、电磁炉还是微波炉，都能完成烹饪。也就是说，在大模型训练里，这部分算力消耗并非决定性因素。

       总体来说，通用大模型就像是预制菜，能吃能体验，但是解决不了个人口味和营养搭配等私域需求。

应暨南大学黄书强教授的要求，我针对DeepSeek计算代价较低这一问题作出了回应。若大家觉得此推文对您有所帮助，不妨向黄书强教授表达一份感谢。倘若大家还有其他问题希望我做出详细解释的，欢迎向我提问，也欢迎大家给我们提出建议。