面向分布式推理的大模型键值缓存分发网络

宋俊平; 黄天一; 周旭; 李智; 吴茜

doi:10.12142/ZTETJ.202603009

Chinese

您当前的位置：

首页 >

文章列表页 >

面向分布式推理的大模型键值缓存分发网络

热点专题 | 更新时间：2026-08-07

- 面向分布式推理的大模型键值缓存分发网络
- Large Model Key-Value Cache Distribution Network for Distributed Inference Services
- 中兴通讯技术 2026年32卷第3期页码：45-50
- 作者机构：
  
  1.中国科学院计算机网络信息中心，中国北京 100083
  2.中国科学院大学，中国北京 100190
  3.中国移动通信集团有限公司，中国北京 100032
- 作者简介：
  
  宋俊平，中国科学院计算机网络信息中心高级工程师、中科院青年创新促进会会员、中国通信标准化协会TC630语义智简通信技术与标准推进委员会资源及模型管理组副组长；主要研究方向为算力网络、人工智能；获省部级奖励1项；发表论文30余篇，申请国家发明专利24项。
  黄天一，中国科学院计算机网络信息中心在读硕士研究生；主要研究方向为分布式推理、算网融合。
  周旭，中国科学院计算机网络信息中心研究员，担任中国通信标准化协会TC614标准推进委员会副主席、中国通信学会算力网络委员会委员、中国通信学会信息通信网络技术委员会委员、重庆大学通信学院兼职教授/博导等学术职务，国家重点研发计划项目首席科学家，国家级人才计划入选者；主要研究方向为计算机网络体系结构、人工智能、5G/6G移动网络；近年来作为项目负责人完成重大项目10余项，获得部级科学技术奖一等奖4次、二等奖2次；发表论文80余篇，申请专利60余项（其中已授权25项），撰写专著1本，主持/参与制定国际标准/行业标准15项。
  李智，中国移动通信有限公司网络事业部高级技术专家，高级工程师；主要研究方向为互联网技术、CDN、算力网络、边缘计算等；获得北京市科技进步奖1项，中国通信学会科学技术奖1项，工业和信息化部中国信息通信研究院科技进步奖9项，互联网、CDN、云、人工智能产业协会等科技进步奖4项，中国移动科技进步奖2项；发表论文18篇，拥有专利36项，参与研发标准24项。
  吴茜，中国移动通信有限公司网络事业部高级工程师；主要研究方向为CDN的云化、智能化关键技术；获2020年中国通信学会科学技术奖三等奖、2023年工业和信息化部中国信息通信研究院“华彩杯”算力应用创新大赛北区总决赛一等奖、2024年全国信息通信领域安全生产和网络运行安全成果一等奖等。
- 基金信息：
- DOI：10.12142/ZTETJ.202603009
  中图分类号：
- 收稿：2026-04-25，
  
  网络首发：2026-08-07，
  
  纸质出版：2026-06-25
- 稿件说明：
移动端阅览
宋俊平, 黄天一, 周旭, 等. 面向分布式推理的大模型键值缓存分发网络 [J]. 中兴通讯技术, 2026, 32(3): 45-50.

Song J P, Huang T Y, Zhou X, et al. Large model key-value cache distribution network for distributed inference services [J]. ZTE technology journal, 2026, 32(3): 45-50.
宋俊平, 黄天一, 周旭, 等. 面向分布式推理的大模型键值缓存分发网络 [J]. 中兴通讯技术, 2026, 32(3): 45-50. DOI： 10.12142/ZTETJ.202603009

Song J P, Huang T Y, Zhou X, et al. Large model key-value cache distribution network for distributed inference services [J]. ZTE technology journal, 2026, 32(3): 45-50. DOI： 10.12142/ZTETJ.202603009

摘要

大模型推理已成为智能算力体系的核心，传统云端集中式推理面临带宽压力大、推理延迟高、算力资源紧张等瓶颈。现有云边协同方案在通信开销与键值缓存（KV-Cache）复用效率方面仍存在明显不足。为此，提出一种基于内容分发网络（CDN）的大模型KV-Cache分发网络（KVCDN），将传统CDN升级为具备张量感知与状态管理能力的分布式缓存架构。该架构采用端侧语义规范化、边缘热点分级缓存与核心全局去重编排3层协同结构，并结合提示词（Prompt）标准化、分级存储预放置、全局去重融合与语义路由4项关键技术，从而显著提升KV-Cache复用率，降低冗余计算与推理延迟。

Abstract

Large language model inference has become a core component of intelligent computing systems. Traditional cloud-centric inference approaches face critical bottlenecks such as high bandwidth consumption

excessive latency

and intensive computational demands. Existing cloud-edge collaborative schemes still suffer from significant communication overhead and low cache reuse efficiency of Key-Value Caches (KV-Cache). To address these issues

a KV-Cache distribution network based on content delivery network (CDN)

termed KVCDN

is proposed. In this architecture

conventional CDN nodes are upgraded into a distributed caching system with tensor-aware perception and state management capabilities. A three-layer collaborative structure is adopted

consisting of semantic normalization at the end side

hotspot-aware hierarchical caching at the edge

and global deduplication with orchestration at the core. Combined with four key enabling techniques

i.e.

prompt standardization

tiered storage and proactive pre-placement

global deduplication and fusion

and semantic-aware routing

the KVCDN significantly improves KV-Cache reuse ratio

while reducing redundant computations and inference latency.

关键词

Keywords

references

Qu G Q, Chen Q Y, Wei W, et al. Mobile edge intelligence for large language models: a contemporary survey [PP/OL]. arXiv (2025-03-20)[2026-04-20]. https://arxiv.org/abs/2407.18921

Kafetzis D, Khalili R, Koutsopoulos I. Large language model partitioning for low-latency inference at the edge [C]//Proceedings of the 23rd International Symposium on Modeling and Optimization in Mobile, Ad Hoc, and Wireless Networks (WiOpt). IEEE, 2025: 1-8

Cunningham M. Privacy-aware split inference with speculative decoding for large language models over wide-area networks [PP/OL]. arXiv (2026-02-18)[2026-04-22]. https://arxiv.org/abs/2602.16760

Sung M, Palakonda V, Im S, et al. Memory- and latency-constrained inference of large language models via adaptive split computing [PP/OL]. arXiv (2025-11-06)[2026-04-20]. https://arxiv.org/abs/2511.04002

Feng Z D, Lu L, Li Q, et al. Distributed inference optimization for large language model in edge-cloud collaborative networks [C]//Proceedings of ICC 2025 - IEEE International Conference on Communications. IEEE, 2025: 6161-6166. DOI: 10.1109/icc52391.2025.11160773

Jin H P, Wu Y Z. CE-CoLLM: efficient and adaptive large language models through cloud-edge collaboration [C]//Proceedings of IEEE International Conference on Web Services (ICWS). IEEE, 2025: 316-323. DOI: 10.1109/icws67624.2025.00046

Patel P, Choukse E, Zhang C J, et al. Splitwise: efficient generative LLM inference using phase splitting [C]//Proceedings of ACM/IEEE 51st Annual International Symposium on Computer Architecture (ISCA). IEEE, 2024: 118-132. DOI: 10.1109/ISCA59077.2024.00019

Younesi A, Shabrang M A, Oustad E, et al. Splitwise: collaborative edge–cloud inference for LLMs via Lyapunov-assisted DRL [C]//Proceedings of the 18th IEEE/ACM International Conference on Utility and Cloud Computing. ACM, 2025: 1-11. DOI: 10.1145/3773274.3774267

Ye S Y, Ouyang B, Zeng L K, et al. Jupiter: fast and resource-efficient collaborative inference of generative LLMs on edge devices [C]//Proceedings of IEEE INFOCOM 2025 - IEEE Conference on Computer Communications. IEEE, 2025: 1-10. DOI: 10.1109/infocom55648.2025.11044734

Chen C, Borgeaud S, Irving G, et al. Accelerating large language model decoding with speculative sampling [PP/OL]. arXiv (2023-02-02)[2026-04-18]. https://arxiv.org/abs/2302.01318

Leviathan Y, Kalman M, Matias Y. Fast inference from transformers via speculative decoding [C]//Proceedings of the 40th International Conference on Machine Learning. ACM, 2023: 19274-19286. DOI: 10.5555/3618408.3619203

Ning J, Zheng C, Yang T. DSSD: Efficient edge-device LLM deployment and collaborative inference via distributed split speculative decoding [PP/OL]. arXiv (2025-07-16)[2026-04-18]. https://arxiv.org/abs/2507.12000

Cheng Y, Du K, Yao J, et al. Do large language models need a content delivery network [PP/OL]. arXiv (2024-09-16)[2026-04-15]. https://arxiv.org/abs/2409.13761

Liu Y, Cheng Y, Yao J, et al. LMCache: an efficient KV cache layer for enterprise-scale LLM inference [PP/OL]. arXiv (2025-12-05)[2026-04-18]. https://arxiv.org/abs/2510.09665

Team TAib. AIBrix: towards scalable, cost-effective large language model inference infrastructure [PP/OL]. arXiv (2025-02-22)[2026-04-18]. https://arxiv.org/html/2504.03648v1

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

MEC的云边协同分析

长距高性能网络关键技术研究

基于特征事件的PON网络故障分析诊断与应用

Scale-Up网络内GPU卡间互联及OISA技术体系

智算中心光电混合组网下的流量差异化调度技术研究