8月12日，在2025金融AI推理應(yīng)用落地與發(fā)展論壇上，華為正式發(fā)布AI推理創(chuàng)新技術(shù)UCM（推理記憶數(shù)據(jù)管理器）。該技術(shù)是一款以KV Cache為中心的推理加速套件，集成了多類型緩存加速算法工具，實(shí)現(xiàn)推理過程中KV Cache記憶數(shù)據(jù)的分級(jí)管理，從而擴(kuò)大推理上下文窗口，提升推理效率。
UCM通過優(yōu)化推理過程，可顯著改善用戶與AI交互時(shí)的體驗(yàn)，包括降低回答問題的時(shí)延、提升答案準(zhǔn)確度以及增強(qiáng)複雜上下文的推理能力。這一技術(shù)方案有助於實(shí)現(xiàn)高吞吐、低時(shí)延的推理效果，並有效降低每Token的推理成本。
HBM是解決「數(shù)據(jù)搬運(yùn)」的關(guān)鍵技術(shù)。當(dāng)HBM不足時(shí)，用戶使用AI推理的體驗(yàn)會(huì)明顯下降，導(dǎo)致出現(xiàn)任務(wù)卡頓、響應(yīng)慢等問題。華為此次技術(shù)突破有望緩解這一瓶頸。
華為數(shù)據(jù)存儲(chǔ)產(chǎn)品線副總裁樊傑在接受央廣財(cái)經(jīng)記者專訪時(shí)指出，AI下一階段的突破將高度依賴高質(zhì)量行業(yè)數(shù)據(jù)的釋放，而存力正是激活數(shù)據(jù)價(jià)值、賦能垂直行業(yè)的關(guān)鍵基礎(chǔ)設(shè)施。華為通過技術(shù)優(yōu)化，推出的高性能AI存儲(chǔ)，能夠?qū)⑿r(shí)級(jí)數(shù)據(jù)加載縮短至分鐘級(jí)，使算力集群效率從30%提升至60%。在推理環(huán)節(jié)，通過長(zhǎng)記憶存儲(chǔ)能力，避免重複運(yùn)算，大幅降低推理成本。
當(dāng)前，AI產(chǎn)業(yè)發(fā)展重心已從「追求模型能力的極限」轉(zhuǎn)向「追求推理體驗(yàn)的最優(yōu)化」，推理體驗(yàn)成為影響用戶滿意度和商業(yè)可行性的關(guān)鍵因素，也是衡量模型價(jià)值的重要標(biāo)準(zhǔn)。
據(jù)悉，華為計(jì)劃於今年9月正式開源UCM，屆時(shí)將在魔擎社區(qū)首發(fā)，後續(xù)逐步貢獻(xiàn)給業(yè)界主流推理引擎社區(qū)，並共享給業(yè)內(nèi)所有Share Everything(共享架構(gòu))存儲(chǔ)廠商和生態(tài)夥伴。
電話：（香港）852-2564 0768
（深圳）86-755-83518792 83518734 83518291
地址：香港九龍觀塘道332號(hào)香港商報(bào)大廈
