DeepSeek开源周第二日：首个面向MoE模型的开源EP通信库

发布时间：2025-02-25

2月25日上午，DeepSeek开启了本周连续5天技术分享的第2天，开源了专为混合专家模型（MoE）训练和推理设计的开源EP通信库——DeepEP。

据介绍，DeepEP 是专为专家混合（MoE）和专家并行（EP）设计的通信库，提供高吞吐量和低延迟的全对全（ all-to-all ）GPU内核，也被称为MoE分发和合并。该库还支持包括FP8在内的低精度计算操作。为支持 DeepSeek-V3 论文中的组限门控（group-limited gating） 算法，开发了专门的计算模块，这些模块能够高效处理不同网络连接之间的数据传输，例如从NVLink域转发数据到RDMA域。

DeepEP 提供了两种主要类型的计算模块。

一种是高吞吐量模块，它们在训练和推理预填充阶段表现出色，并且可以灵活调整 GPU 处理器资源；另一种是专为推理解码阶段设计的低延迟模块，完全基于 RDMA 技术，能够最大限度减少响应时间。

此外，DeepEP 还引入了一种基于 Hook 的方法，使计算和通信能够同时进行而不占用额外的 GPU 资源。

GitHub 项目地址：https://github.com/deepseek-ai/DeepEP

来源：APPSO