大模型系列报告(二)：SCALINGLAW启示录
Scaling Law：实验科学的产物。Scaling Law 指的是大语言模型（LLM）的最终性能主要与计算量、模型参数量和训练数据量的规模相关，而与模型的具体结构（如层数、深度或宽度）基本无关。随着模型规模、数据量和计算资源的增加，模型的性能会相应提升，并且这种提升呈幂律关系。Scaling Law是实验科学的产物。2022 年11 月，ChatGPT 的亮相震惊了业界，标志着大模型的重大突破，Scaling Law 并成为进一步扩展模型规模的核心指导思想。业界普遍认为，只要能够提供更大规模的参数、更多的数据和更强大的计算能力，模型的能力将持续提升，最终可能接近或实现通用人工智能（AGI）。
Scaling Law 面临的挑战：高质量数据和算法创新。当前的数据资源正面临枯竭的挑战，Transformer 架构也未能完全表达人脑的思考机制。当前AI的局限性不仅在于数据不足，还在于其学习效率的低下。真正的智能不仅仅是数据量的堆积，更在于对信息的压缩和提炼，类似于通过总结第一性原理的方式获取更深层次的智能。
Scaling Law 的新范式探索，向后训练、推理阶段转移：当前业界所经历的“放缓”是LLM Scaling Law 中一个预期的部分。我们需要对Scaling Law树立正确的认知，它存在自然衰减，我们对LLM 能力的期望存在较高方差，以及大规模跨学科的工程化尝试需要时间。在对新范式的不断探索下，ScalingLaw 向后训练、推理阶段转移，研究发现强化学习（RL）与测试时间（Testtime）也存在Scaling Law。DeepSeek-R1-Zero 在技术路线上实现了突破性创新，成为首个完全摒弃监督微调环节、完全依赖强化学习训练的大语言模型，证明了无监督或弱监督学习方法在提升模型推理能力方面的巨大潜力。李飞飞团队以低于50 美元的训练成本开发出的高性能AI 推理模型s1-32B 和上海交大团队提出的LIMO 等研究不仅揭示了高效能、低成本开发路径的可能性，同时也指出了LLM Scaling Law 的关键方向之一，即高质量数据集与强大的基座模型。在这一框架下，研究的重点从单纯追求更大规模的数据和计算资源转向优化数据质量和挖掘现有模型的潜在能力。
What will we scale next？任何新范式最终都会达到瓶颈或边际放缓，因此，当前的方向应当是在瓶颈到来之前，穷尽现有的Scaling 方向，同时寻找新的Scaling Law 环节。借用Cameron R. Wolfe, PhD 的一句话，“Whether scalingwill continue is not a question. The true question is what we will scale next”。
风险提示：技术迭代不及预期的风险；商业化落地不及预期的风险；政策支持不及预期风险；全球宏观经济风险。
声明：
- 风险提示：以上内容仅来自互联网，文中内容或观点仅作为原作者或者原网站的观点，不代表本站的任何立场，不构成与本站相关的任何投资建议。在作出任何投资决定前，投资者应根据自身情况考虑投资产品相关的风险因素，并于需要时咨询专业投资顾问意见。本站竭力但不能证实上述内容的真实性、准确性和原创性，对此本站不做任何保证和承诺。
- 本站认真尊重知识产权及您的合法权益，如发现本站内容或相关标识侵犯了您的权益，请您与我们联系删除。
推荐文章：