大模型時代，數(shù)據(jù)決定人工智能的高度，更多的訓(xùn)練數(shù)據(jù)是大模型迭代升級的前提，更高的數(shù)據(jù)質(zhì)量也決定著大模型訓(xùn)練的效果。當(dāng)前，大模型技術(shù)全面推動底層基礎(chǔ)設(shè)施的發(fā)展，算力需求不斷攀升，海量數(shù)據(jù)的存儲和處理需求不斷增長，對人工智能存儲的性能、擴展性、數(shù)據(jù)韌性、數(shù)據(jù)范式等都提出更高要求。
為充分發(fā)揮新型AI存儲對大模型賦能作用，更好支撐大模型發(fā)展，推動大模型應(yīng)用落地，中國信息通信研究院(簡稱“中國信通院”)人工智能研究所特編制《新型人工智能存儲研究報告(2025年)》。2025年4月9日，在中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟第十四次全會上，中國信通院人工智能研究所發(fā)布此報告，中國信通院人工智能研究所平臺與工程化部主任曹峰對報告進行了解讀。
報告重點對新型人工智能存儲的概念范圍、面臨挑戰(zhàn)、關(guān)鍵技術(shù)和最佳實踐進行了梳理和分析。概念范圍上，梳理了新型人工智能存儲的基本概念，分析了全球人工智能存儲戰(zhàn)略和人工智能存儲現(xiàn)狀。面臨挑戰(zhàn)上，點明了新型人工智能存儲是發(fā)力大模型的基礎(chǔ)，但同時在海量數(shù)據(jù)歸集、訓(xùn)練數(shù)據(jù)訪問效率、推理實時性等方面存在諸多挑戰(zhàn)。關(guān)鍵技術(shù)上，闡明了新型人工智能存儲需要從存儲介質(zhì)、架構(gòu)、系統(tǒng)、管理、編織和安全等方面發(fā)力。最佳實踐上，介紹了銀行、運營商、AI企業(yè)等在新型人工智能存儲的實踐案例。最后，報告針對當(dāng)前人工智能存儲發(fā)展的挑戰(zhàn)，提出了未來我國新型人工智能存儲發(fā)展建議。
報告核心觀點
1.新型AI存儲是指專為人工智能應(yīng)用和服務(wù)設(shè)計的數(shù)據(jù)存儲系統(tǒng)，具備超高性能、超大容量、極致安全、數(shù)據(jù)編織等特征，可以有效支撐海量數(shù)據(jù)的分析和學(xué)習(xí)，是AI基礎(chǔ)架構(gòu)不可或缺的組成部分。
2.新型人工智能存儲具備極致性能、數(shù)據(jù)安全、大模型數(shù)據(jù)范式、高擴展性、數(shù)據(jù)編織和綠色節(jié)能6大關(guān)鍵特征。極致性能密度加快數(shù)據(jù)供給，提升AI全流程效率；支持向量、KV Cache等數(shù)據(jù)范式，加速推理應(yīng)用；AI存儲高可靠性提升基礎(chǔ)設(shè)施持續(xù)服務(wù)時間，防勒索和加密保障數(shù)據(jù)安全；高擴展的AI數(shù)據(jù)湖降低數(shù)據(jù)工程和應(yīng)用對接難度；數(shù)據(jù)編織實現(xiàn)全局?jǐn)?shù)據(jù)可視可管，通過數(shù)據(jù)版本和血緣管理，保障數(shù)據(jù)質(zhì)量不被破壞；綠色AI存儲，降低每TB數(shù)據(jù)能耗和占用空間。
新型AI存儲特征
3.長記憶存儲范式為推理提質(zhì)增效。長記憶存儲通過多級KV Cache機制，降低大模型推理的內(nèi)存占用和計算開銷。它以分級方式實現(xiàn)“終身記憶”能力，支持長序列推理和動態(tài)上下文建模。例如，在醫(yī)療領(lǐng)域，長記憶存儲可緩存病理圖像的歷史計算結(jié)果，減少大部分冗余計算，提升推理速度數(shù)倍，同時支持多模態(tài)數(shù)據(jù)協(xié)同，增強模型對復(fù)雜場景的適應(yīng)性。
4.數(shù)據(jù)編織加強數(shù)據(jù)跨域高效處理。數(shù)據(jù)編織通過構(gòu)建統(tǒng)一數(shù)據(jù)視圖，打破數(shù)據(jù)孤島，實現(xiàn)跨域數(shù)據(jù)整合與高效流動。其技術(shù)包括數(shù)據(jù)版本管理、數(shù)據(jù)血緣管理和統(tǒng)一命名空間，確保數(shù)據(jù)質(zhì)量不下降，并通過兼容多種存儲協(xié)議實現(xiàn)AI全流程業(yè)務(wù)的無縫對接。例如，在AI企業(yè)實踐中，全局文件系統(tǒng)支持?jǐn)?shù)據(jù)零拷貝和端到端加速，跨域調(diào)度效率提升數(shù)倍，顯著降低數(shù)據(jù)治理成本，滿足大模型對場景化數(shù)據(jù)治理的需求。
5.超節(jié)點存儲架構(gòu)持續(xù)支撐擴展法則。超節(jié)點存儲架構(gòu)通過全對等、全直通設(shè)計，實現(xiàn)存儲與計算之間高并行數(shù)據(jù)直通。例如，通過高通量數(shù)據(jù)總線互聯(lián)，統(tǒng)一內(nèi)存語義訪問數(shù)據(jù)，實現(xiàn)計算、存儲資源解耦靈活調(diào)度，資源利用率最大化；通過近存計算將數(shù)據(jù)預(yù)處理功能下沉至存儲層，減少數(shù)據(jù)搬運開銷，支撐十萬卡級算力集群擴展，滿足大模型對高擴展性和高并行數(shù)據(jù)流轉(zhuǎn)的需求。
6.高性能并行文件系統(tǒng)以存強算。高性能并行文件系統(tǒng)通過高性能、高可靠、高擴展和加速卡直通存儲技術(shù)特性，提升大模型訓(xùn)練推理效率。其四大能力包括：百PB/s級帶寬和億級IOPS能力支持超萬卡集群無瓶頸擴展；EB級擴展能力適應(yīng)海量數(shù)據(jù)；存儲系統(tǒng)高可用性達到六個九，實現(xiàn)軟硬件故障的自動切換；加速卡直通技術(shù)實現(xiàn)數(shù)據(jù)從存儲到GPU的“一跳直達”。
