通信行业周报:O1新模型对算力需求几何

宋嘉吉/黄瀚/石瑜捷 2024-09-17 17:15:12
机构研报 2024-09-17 17:15:12 阅读

  事件:北京时间9 月13 日凌晨,OpenAI 发布全新大模型OpenAI o1系列,根据官方说法,与之前的模型相比,o1 系列模型可以推理更复杂的任务,解决更难的问题。同时该系列大模型的命名也有深意,OpenAI 表示,对于复杂推理任务来说,该系列模型的推出是一个重要的进展,代表了人工智能能力的新水平,因此将计数器重置为1,并将这一系列命名为OpenAI o1。

      【o1 最核心的“升级”:进一步拟人、强化“自我”能力】相较于传统GPT 系列大模型,o1 大模型最核心的变化在于“自我反思和提升”,通过让渡速度来提升回答的“聪明”程度。OpenAI 采用强化学习(RL,Reinforcement Learning)的方法来训练o1,目标在于让大模型尽可能模拟人类的思考过程,在回答问题时,模型会自我进行思考,形成长串的思维链,在花费一定时间(而不是立马给出回答)后,判断答案的优劣程度(进行自我反思、尝试不同的思考路径),在众多答案中选出最适配的一项。

      【o1 的价格:远高于4o,隐含推理过程消耗大量token】o1 系列分包含三款模型,OpenAI o1、o1-preview 和o1-mini,根据官网API 接口调用定价(按照每百万token 计价),o1-preview 模型输入价格为15 美元,输出价格60 美元,o1-mini 模型输入3 美元,输出12 美元;远高于GPT-4o 收费(输入5 美元、输出15 美元)。我们认为,o1 收费较高,主要是其自身的隐藏推理过程会涉及更多的搜索或者排序等步骤,因此会消耗大量token,单次回答的算力成本大幅提升。

      【o1 的质量:大幅提高数学与编码能力】

      在美国数学奥林匹克预选赛题目中,GPT-4o 平均只能解决12%的问题,o1 正式版单次尝试就做对74%的问题,在1000 次采样后使用学习型评分函数重新排序,正确率更是高达93%;在代码竞赛中,GPT4o准确率达到11%,o1 预览版为62%,o1 正式版准确率达到89%。

      【提价+提质的背后:隐含对未来推理算力的爆炸式需求】o1 通过思考能力的提高拓宽了下游应用场景的复杂度,有望开启AGI 时代全新“数据飞轮”。与传统GPT 4o 不同,此次发布的o1 模型重点在于通过自我强化学习进行自我认知、自我推理、自我判断和自我优化,扮演的角色更侧重一个“推理”模型,在回答问题前进行思考,这部分隐含的推理环节(或“思考环节”)会消耗大额算力;在拥有“思考能力”后,大模型将更可应用于复杂的问答场景,比如数学问题、编码问题等,或更加适应高精尖领域如医疗、物理、生物等领域的高密度推理,同时对C 端的友好度也进一步提升,具备自我进行活动策划的能力。模型的进一步“拟人化”有望刺激下游应用落地的加速,形成对算力的全新增量需求。

      对硬件的拉动:RL 背后是规模化数据集和算法策略的需求,是芯片数量的“堆叠之战”,万卡或仅是门槛。RL 的性能提升符合一定的规模化法则(Scaling law),可以通过模型大小和训练计算量的增加而提高。强化学习模型通常需要通过不断尝试和错误来学习最优策略,在这个过程中,模型的参数(如学习率、探索率、奖励函数等)需要不断调整以优化学习效果,同时参数调整是一个迭代的过程,需要多次实验和评估来找到最佳的参数设置,以确保模型能够有效地学习并达到预期的性能。为了找到最佳的算法和策略,需要进行大量的实验和优化,在更大规模的问题上寻找有效的学习策略,不断扩大基础数据集的体量,对token 的消耗会大幅提升。我们认为,o1 大模型的推出是对推理侧需求的跨时代更新,在进入规模化时代后,“大力出奇迹”原则下对芯片数量、交换机数量、连接器数量等核心硬件数量的需求都有望指数级提升,新一轮的军备竞赛或将开启,RL 对芯片的庞大需求下“万卡”或仅是个入门选择,未来硬件需求空间进一步扩大,AI 叙事节奏或有望加速推进。

      建议关注:

      算力——

      光通信:中际旭创、新易盛、天孚通信、太辰光、腾景科技、光库科技、光迅科技、德科立、联特科技、华工科技、源杰科技、剑桥科技、铭普光磁。铜链接:沃尔核材、精达股份。算力设备:中兴通讯、紫光股份、锐捷网络、盛科通信、菲菱科思、工业富联、沪电股份、寒武纪。液冷:

      英维克、申菱环境、高澜股份。边缘算力承载平台:美格智能、广和通、移远通信。

    卫星通信:中国卫通、中国卫星、震有科技、华力创通、电科芯片、海格通信。

      数据要素——

      运营商:中国电信、中国移动、中国联通。数据可视化:浩瀚深度、恒为科技、中新赛克。

      风险提示:AI 发展不及预期,算力需求不及预期,市场竞争风险。

声明:
  1. 风险提示:以上内容仅来自互联网,文中内容或观点仅作为原作者或者原网站的观点,不代表本站的任何立场,不构成与本站相关的任何投资建议。在作出任何投资决定前,投资者应根据自身情况考虑投资产品相关的风险因素,并于需要时咨询专业投资顾问意见。本站竭力但不能证实上述内容的真实性、准确性和原创性,对此本站不做任何保证和承诺。
  2. 本站认真尊重知识产权及您的合法权益,如发现本站内容或相关标识侵犯了您的权益,请您与我们联系删除。