人工智能行业迈向智能世界白皮书2024：数据存储 数据是数字化到数智化成功转型的关键要素

　　规模定律（Scaling Law）揭示了AI 人工智能在当前深度学习算法框架下，算力和数据之间的关系：更强的算力加上更多的有效训练数据，可以得到更好的AI 大模型。在规模定律的支持下，AI 大模型由单模态走向多模态，同时大模型能力和性能持续提升，这帮助了AI 逐步走出中心训练、走向千行万业并得以应用，从办公辅助逐渐走向生产决策，从降低成本逐步走向增加效率，从管理当下逐渐走向预测未来，从高容错场景逐渐走向低容错场景，不断引发各行各业智能化转型和业务变革。在这个过程中，人们逐渐发现，进一步深化并加速业务数字化转型、以产生数量更多、类型更丰富的高价值数据，其重要性对于AI 而言，不亚于唤醒历史沉睡数据。数字化和智能化以数据为纽带，相互促进、加速和融合，逐渐走向两者相结合的数智化，这对数据基础设施提出了新的更高要求，不断驱动着数据基础设施的演进。

    　　数智化将持续高速发展，并将实现通用人工智能，帮助人类进入一个全新的智能世界。面向未来，我们对数智化必不可少的数据基础设施进行如下展望：

    　　AI 大模型走向多模态，算力集群规模和数据规模持续增长，只有算力和存力协同演进、算存比可基于AI 发展进行灵活调整，才能有效降低系统管理难度、助力AI 在实际业务场景发挥不可替代的作用。

    　　在AI 大模型训练阶段，伴随AI 算力集群规模增长，相邻训练中断的间隔时间越来越短，这带来了更加频繁的Checkpoint 存档，也带来了更加频繁的断点续训，亟需加速数据访问性能以快速完成Checkpoint 的保存于加载。与此同时，智能化升级也在加速数字化转型，进而产生更多的业务数据，增加了数字化基础设施处理数据的复杂度和压力。

    　　智能化升级过程中，一方面加速了数字化转型，产生更多高价值业务数据，另一方面降低了黑客门槛，让勒索攻击更加频繁。

    　　伴随AI 算力集群规模增长，对海量多源异构数据的高效管理逐渐成为AI 赛道的关键竞争力。

    　　数据地图绘制、数据归集、数据预处理等工作，是AI 大模型训练首当其冲的要务。

    　　千行万业在尝试将AI 落地到行业应用的过程中，发现面临基础设施部署、大模型选择、二次训练和监督微调等方面的困难。复用基础设施厂商和AI 大模型厂商的能力，成为千行万业快速落地AI 的关键。

    　　面向以AI 大模型为代表的企业智能化新应用，新的数据基础设施架构也正在逐渐形成。为了构建AI 大模型时代最佳的数据基础设施，我们建议：

    　　重视存算分离架构的灵活性和独立扩展，利用存算分离架构有效简化智算集群管理、让计算和存储分别按需扩展；关注横向扩展、性能线增、多协议互通等数智化时代数据基础设施基本能力。

    　　全闪存是数智化时代提升数据处理效率、满足业务需求的最优解，同时满足不断增长的数字化转型和日益深化的智能化变革；与此同时，配合向量RAG、长上下文记忆存储等新兴数据范式，可以有效简化数据访问，实现以存强算，提升系统整体性能。

    　　不管是产生了更多数据的数字化，还是持续成长的智能化，均需要构建防治结合数据安全体系，从被动应对攻击走向主动全面防护。

    　　为AI 算力集群建设AI 数据湖底座，打破数据烟囱，实现数据的可视可管可用。

    　　针对AI 大模型在行业场景的落地，用好训/ 推一体机，基于预集成了基础设施、工具软件等部件的一体化设备，并借助AI 大模型供应商的系统集成能力，有效加速AI 落地行业应用。

声明：

1. 风险提示：以上内容仅来自互联网，文中内容或观点仅作为原作者或者原网站的观点，不代表本站的任何立场，不构成与本站相关的任何投资建议。在作出任何投资决定前，投资者应根据自身情况考虑投资产品相关的风险因素，并于需要时咨询专业投资顾问意见。本站竭力但不能证实上述内容的真实性、准确性和原创性，对此本站不做任何保证和承诺。
2. 本站认真尊重知识产权及您的合法权益，如发现本站内容或相关标识侵犯了您的权益，请您与我们联系删除。