腾讯开源UCL-MPComm通信库，零拷贝传输性能提升30%、非零拷贝最高提升5倍！

【导语腾讯网平团队宣布开源UCL-MPComm通信库并将其作为transport接入Mooncake TENT。该通信库针对AI Memory池化场景的数据传输需求深度优化能实现高性能通信且性能提升显著。】UCL-MPComm接入Mooncake TENT性能提升显著腾讯网平团队开源的UCL-MPComm通信库将作为一种传输引擎接入Mooncake TENT。它能实现零拷贝传输性能提升30%、非零拷贝传输性能最高提升5倍。这一提升对于数据中心内大规模计算节点间的数据传输意义重大能极大提高数据传输效率。自研引擎打底后续将持续开源组件UCL-MPComm底层基于自研UCL-Engine通信引擎腾讯网平后续还将持续开源更多基于UCL-Engine的高性能通信组件。这显示了腾讯在通信技术领域的持续投入和技术积累有望为行业带来更多的技术创新和发展。三大优化策略攻克传输瓶颈在UCL-MPComm中腾讯网平团队实现了独立于业务线程的全局通信引擎并采用了三大优化策略。一是NUMA感知拓扑发现初始化时探测机器拓扑明确网卡所属NUMA避免跨区绕路消除“跨区总线”瓶颈。二是多网卡动态负载均衡实时追踪网卡负载将数据块调度到最空闲的网卡建链时“快卡配快卡、慢卡配慢卡”充分利用网络资源。三是Two-Stage通信流水线通过预建“中转仓”让CPU拷贝与分块RDMA相互重叠、流水推进在非零拷贝场景下性能提升最高5倍且接口能与零拷贝接口在协议层无缝互通。编辑观点腾讯开源UCL-MPComm通信库是通信技术领域的一次重要突破其性能提升和优化策略将为数据中心通信带来新的变革持续开源计划也将推动行业技术进步。