官方网站-首页
华为发布 AI 推理创新技术 UCM：可实现高吞吐、低时延推理体验，计划 9 月开源
- 分类：行业动态
- 作者：
- 来源：
- 发布时间：2025-08-13 10:02:01
- 访问量：374
【概要描述】【导语】8月12日，华为推出了AI推理创新技术UCM，该技术以KV Cache为中心，融合多类型缓存加速算法，旨在提升推理性能并降低成本。目前，UCM已在中国银联的多个业务场景中试点应用并取得成效。华为计划于2025年9月正式开源UCM，逐步贡献给业界主流推理引擎社区及存储厂商和生态伙伴。 8 月 12 日消息，华为正式发布 AI 推理创新(xīn)技(jì)术(shù) UCM
华为发布 AI 推理创新技术 UCM：可实现高吞吐、低时延推理体验，计划 9 月开源
【概要描述】【导语】8月12日，华为推出了AI推理创新技术UCM，该技术以KV Cache为中心，融合多类型缓存加速算法，旨在提升推理性能并降低成本。目前，UCM已在中国银联的多个业务场景中试点应用并取得成效。华为计划于2025年9月正式开源UCM，逐步贡献给业界主流推理引擎社区及存储厂商和生态伙伴。 8 月 12 日消息，华为正式发布 AI 推理创新(xīn)技(jì)术(shù) UCM
- 分类：行业动态
- 作者：
- 来源：
- 发布时间：2025-08-13 10:02:01
- 访问量：374
【导语】8月12日，华为推出了AI推理创新技术UCM，该技术以KV Cache为中心，融合多类型缓存加速算法，旨在提升推理性能并降低成本。目前，UCM已在中国银联的多个业务场景中试点应用并取得成效。华为计划于2025年9月正式开源UCM，逐步贡献给业界主流推理引擎社区及存储厂商和生态伙伴。
8 月 12 日消息，华为正式发布 AI 推理创新(xīn)技(jì)术(shù) UCM（推(tuī)理(lǐ)记(jì)忆(yì)数(shù)据(jù)管(guǎn)理(lǐ)器(qì)）。
据(jù)了(le)解(jiě)，作(zuò)为(wèi)一(yī)款(kuǎn)以(yǐ) KV Cache 为(wèi)中(zhōng)心(xīn)的(de)推(tuī)理(lǐ)加(jiā)速(sù)套(tào)件(jiàn)，UCM 融(róng)合(hé)了(le)多(duō)类(lèi)型(xíng)缓(huǎn)存(cún)加(jiā)速(sù)算(suàn)法(fǎ)工(gōng)具(jù)，分(fēn)级(jí)管(guǎn)理(lǐ)推(tuī)理(lǐ)过(guò)程(chéng)中(zhōng)产生的 KV Cache 记忆数据，可扩大推理上下文窗口，实现高吞吐、低时延的推理体验，降低每 Token 推理成本。该技术已率先在中国银联“客户之声”“营销策划”“办公助手”三大业务场景中，开展智慧金融(róng) AI 推(tuī)理(lǐ)加(jiā)速应用试点，并已取得成果。
华为计划于 2025 年 9 月正式开源 UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有 Share Everything (共享架构) 存储厂商和生态伙伴。
扫二维码用手机看
