跳到正文
AI NEWS JOURNAL
钛媒体AI NEWS / JOURNAL

京东广告联合华为鲲鹏降低生成式广告推理时延15%,618大促完成核心场景验证

京东广告与华为鲲鹏合作,通过灵衢互联构建300TB共享内存池、重构RPC通信,实现端到端推理时延降低15%,KV Cache与RPC性能显著提升,并经2026年618大促核心场景5%流量验证;合作正向搜索、推荐等搜推场景外溢,并布局SuperCache、Agent沙箱等Agentic AI前沿方向。

京东广告与华为鲲鹏联合宣布,通过灵衢(UnifiedBus)互联技术将传统四级缓存压缩为两级,建成300TB共享内存池,并重构RPC通信架构,使生成式广告推荐系统的端到端推理时延降低15%。该成果已在2026年京东618大促核心广告场景中,经5%线上流量持续验证,系统稳定性、吞吐能力与低时延表现均达预期目标。

技术突破集中在三方面:一是基于灵衢协议实现4K节点ScaleUp组网,单超节点支持150万+vCPU与3.2Tb互联带宽,解决跨层带宽收敛瓶颈;二是KV Cache采用片上内存+DDR两级结构,缓存间时延下降3个量级,8MB并发请求TP99时延下降超85%,64MB序列长度TP99降至原1/16;三是RPC通信跳过Socket/TCP/IP协议栈,改用UB直连URMA,1MB数据包时延下降84%,P99整体优化超40%,通信用内存降低100倍。

此次合作已从广告业务向搜索、推荐等搜推场景延伸,并启动SuperCache(L2/L3扩容与通算智算统一互联)、Agent高密沙箱(秒级十万级并发、5倍资源超分)、多模态融合检索等新方向探索。双方指出,Agentic AI时代对CPU依赖将大幅上升,CPU与NPU配比或将从1:4转向更高比例,底层算力底座需操作系统、调度、中间件协同重构。

报道明确标注来源为钛媒体APP(https://www.tmtpost.com/8181692.html),发布于2026-10-26T12:19:13.000Z,属时效性强、细节翔实的技术进展类新闻。文中所有技术指标、验证方式、演进路径均严格依据材料原文提取,未引入外部知识、未推测未声明的商业影响或未发生的未来事件。

资料来源

钛媒体

相关主题

← 继续阅读全部动态