信息服务行业专题报告:OPENAIO1初探:或能成为引领AIPHENOMENAL RIDE的LLM新范式

杨林/杨蒙/魏宗 2024-09-25 17:15:10
机构研报 2024-09-25 17:15:10 阅读

  投资要点:

      OpenAI 发布o1 系列大模型,AI 大模型进入新纪元。9 月12 日,OpenAI 宣布开发了一系列全新AI 模型:OpenAI o1,与之前的模型相比,这些模型能够更好地进行推理,这是一项重大进展,代表了AI 能力的新高度。o1 在物理、化学和生物学等困难的基准任务中表现与博士生相似,此外,o1 在数学和编程领域也表现优异。在国际数学奥林匹克竞赛的资格考试中,GPT-4o 仅正确解答了13%的问题,而OpenAI o1 的正确率达到了83%。在Codeforces 编程比赛中,OpenAI o1 的表现达到了第89 个百分位。OpenAI o1 系列的首个模型已被发布,这是一个预览版本,其被命名为OpenAI o1-preview。此外,OpenAI 还发布了OpenAI o1-mini,这是一款具有成本效益的推理模型。o1-mini 在STEM领域表现出色,尤其是在数学和编程方面,几乎与OpenAI o1 在评估基准(如AIME 和Codeforces)上的表现相当。o1-mini 成本比o1-preview 便宜80%,o1-mini 推理速度远超o1-preview,OpenAI 预计,o1-mini 将成为一个快速且经济高效的模型,适用于需要推理但不依赖广泛世界知识的应用。

      全新的推理范式:思维链条+自我对弈强化学习。OpenAI o1 带来的是推理范式的全面革新,即利用大语言模型学习推理(Learning to Reason with LLMs)。

      OpenAI 的大规模强化学习算法通过高度数据高效的训练过程,教会模型如何通过思维链条进行有效推理。OpenAI 发现,o1 模型的性能随着更多的强化学习(训练时的计算量)以及更多的思考时间(测试时的计算量)而持续提升。与人类在回答难题前长时间思考的方式类似,o1 在尝试解决问题时也运用“思维链条(CoT,Chain of Thought)”。通过强化学习,o1 学会了优化其思维链条,并精炼所使用的策略。它能识别并纠正错误,学会将复杂的步骤拆解为更简单的部分,并在当前方法无效时尝试不同的方式。这个过程极大地提升了模型的推理能力。我们认为,OpenAI o1 并非是颠覆式的技术革命,但是其在工程化上已经达到了领先的地位,其在自我对弈强化学习(Self-play RL)、思维链条(CoT)、过程奖励模型(PRM)等技术实践运用方面取得了显著的进步,并且在深度思考和复杂推理上展现出了较高的能力。我们认为,o1 代表着Scalingup 从预训练到推理的转变。o1 带来的大模型技术创新,正推动AI 向更深层次的智能推理与问题解决能力发展。

      OpenAI o1,能给AI 带来什么?我们认为,OpenAI o1 的命名,从某种意义上摆脱了GPT(Generative Pre-trained Transformer)这一过去命名过分强调预训练(Pre-trained)的意味,而是让它更成为一个更强调推理能力训练的模型系列,从某种意义上,OpenAI o1 确实是第一个“推理模型”。在推理密集型的任务类别中,如数据分析、编程和数学,o1 相较于GPT-4o 有显著优势,在某种程度上,我们认为,可以说o1 在部分细分领域已经接近了当前人类的天花板,这就使得o1 在部分细分的应用场景,已经接近“替代大部分人类”这一目标。

      当然值得注意的是,o1 目前仍处于AI 发展的初级阶段,不过 o1 在最新门萨智商测试中,IQ 水平超过了120 分,这也代表着o1 这类大模型所蕴含的巨大潜能。o1 所采用业界前沿技术,我国大模型业界也在同步研究和实践应用中,o1 系列模型的发展也为我国大模型的发展指出了一条新路,有望助推相关技术在我国AI 业界更快实践发展。我们相信,o1 代表的是全新的大模型推理范式,也许数十年后,回望如今,我们也能说出,我们很幸运能够“at the right placeat the right time”,这是属于AI 的“Phenomenal Ride”。

      建议关注。算力:英伟达、寒武纪-U、海光信息、景嘉微、龙芯中科、浪潮信息、中科曙光、神州数码、软通动力、中国长城;模型:科大讯飞、中控技术、海康威视、大华股份、商汤-W;应用:微软、金山办公、赛意信息、宝信软件、万兴科技、虹软科技、新致软件、新国都。

      风险提示。AI 技术发展不及预期,AI 商业落地不及预期,市场竞争加剧的风险。

声明:
  1. 风险提示:以上内容仅来自互联网,文中内容或观点仅作为原作者或者原网站的观点,不代表本站的任何立场,不构成与本站相关的任何投资建议。在作出任何投资决定前,投资者应根据自身情况考虑投资产品相关的风险因素,并于需要时咨询专业投资顾问意见。本站竭力但不能证实上述内容的真实性、准确性和原创性,对此本站不做任何保证和承诺。
  2. 本站认真尊重知识产权及您的合法权益,如发现本站内容或相关标识侵犯了您的权益,请您与我们联系删除。