华为发布AI推理创新技术UCM

游客
游戏测评
2025-08-14 17:42:47
4

品玩8月13日讯，据科创板日报报道，华为近日发布AI推理创新技术UCM，

作为一款以KV Cache为中心的推理加速套件，其融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，扩大推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Token推理成本。

据悉，华为计划于2025年9月正式开源UCM，届时将在魔擎社区首发，后续逐步贡献给业界主流推理引擎社区，并共享给业内所有Share Everything(共享架构)存储厂商和生态伙伴。

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，请发送邮件至 3561739510@qq.com 举报，一经查实，本站将立刻删除。！
本文链接：https://www.jyhfzs.com/article-13463-1.html