产业深度02期:算力产业研究系列(二):算力产业中期关注当前AI架构上限

李嘉琪/王浩 2024-09-19 12:16:29
机构研报 2024-09-19 12:16:29 阅读

  摘要:以英伟达为例,理解算力时代三大技术优势

      “思维链”破局更智能的推理

      大模型时代来临,加速计算需求突破式增长。2023 年至2028 年加速计算CAGR 约32%。我们认为,目前还处于 AGI 大基建的早期阶段。

      经过强化学习(Reinforcement Learning),OpenAI o1 在推理能力方面取得了重大进展。

      思维链是一种帮助AI 模型进行推理的技术,属于强化学习的技术之一。

      从产业发展趋势看,中期硬件迭代或进入瓶颈期? 我们认为,每一轮新技术的发展规律都是相似的,其发展规律主要分为三阶段:

      (1)靠垄断发展,先在技术垄断期榨取每一代产品的利润(2)有竞争对手出现,依然享受领先优势,但会加速换代,产品迭代立刻提速,为了享受更多的领先优势

      (3)技术更新迭代变缓,硬件迭代进入瓶颈,软件龙头公司崛起? 从产业生命周期曲线看:

      (1)从本轮技术进度看,这代架构下的AI 能力已经接近瓶颈,潜力已几乎被挖尽,领先者的领先地位将越来越不明显。

      (2)从新一轮技术爆发看,未来竞争格局存在较大不确定性。

      从技术原理看,2026 年或达到这代AI 架构上限? 我们认为,在这代架构之下,增加更多特定算法如“MOE”、“Q*”等,或是增加参数量与数据资源,可能只能将回溯记忆的过程做的越来越好,无法从根本上解决“聪明”问题,模型原来无法解决的“逻辑、因果问题”的理解,在这代架构之下或难以被解决。

      从大模型原理看,GPU 能力、Transformer 能力、与数据资源影响AI 架构上限(1)从GPU 原理看,内存互连与架构设计决定能力上限(2)从transformer 原理看,算法不够“聪明”(3)从数据资源看,这代AI 瓶颈在数据获取、全面标注、高质量数据? 我们认为,中期看来,当前AI 架构的上限或带来以下中期风险:

      (1)实用性AI 角度,网络、内存等已看到明显技术上限,再花一倍的力气去提升20%的性能性价比较低,中型厂商或更多转向推理,推理侧竞争格局存在不确定性。

      (2)长期AGI 明显是需要多轮次技术爆发才能到达的终极目标

      风险提示

      算力场景落地不及预期,政策变动,产品研发不及预期等。

声明:
  1. 风险提示:以上内容仅来自互联网,文中内容或观点仅作为原作者或者原网站的观点,不代表本站的任何立场,不构成与本站相关的任何投资建议。在作出任何投资决定前,投资者应根据自身情况考虑投资产品相关的风险因素,并于需要时咨询专业投资顾问意见。本站竭力但不能证实上述内容的真实性、准确性和原创性,对此本站不做任何保证和承诺。
  2. 本站认真尊重知识产权及您的合法权益,如发现本站内容或相关标识侵犯了您的权益,请您与我们联系删除。