【旭才科技】 今天是 DeepSeek 开源周的第二天，DeepSeek 团队如约发布了开源代码库 DeepEP，这是一款专为 MoE（Mixture of Experts） 模型设计的 EP（Efficient Parallelism） 通信库，它的出现为 MoE 模型的训练和推理提供了专门的通信工具，解决了大规模分布式 AI 训练和实时推理场景中效率低下的问题。
以下是 DeepEP 的一些技术性能特点简要介绍：
1. 高效通信架构：DeepEP 支持全对全通信模式的优化，实现了节点内和节点间的 NVLink 与 RDMA 互联，显著提升了数据传输的效率。
2. 多精度与调度优化：DeepEP 原生支持 FP8 低精度运算调度，有效降低计算资源的消耗。
3. 重性能内核：高吞吐量内核设计，适用于训练和推理预填充场景，最大化数据处理能力。
4. 低延迟内核：针对推理解码场景，采用纯 RDMA 通信和自适应路由技术，有效减少延迟。
5. 资源控制与重叠机制：通过灵活的 GPU 资源控制策略，实现计算与通信过程的高效重叠，避免资源闲置。
6. 深度优化场景：对 NVLink 到 RDMA 的非对称带宽转发场景进行专项优化，提升异构网络下的传输性能。
此外，DeepEP 还支持 SM（Streaming Multiprocessors） 数量的动态控制，以平衡不同任务 （如训练与推理） 的吞吐量需求。（Suky）