技术笔记

DeepSeek V3 MoE 通信量分析与 All2All 过程可视化 ↗

DeepSeek V3/R1 采用了大规模专家并行（Expert Parallelism, EP）策略来处理256个专家的MoE层。由于模型的高度稀疏性（每层仅激活8个专家），需要采用很大的overall batch size来确保每个专家获得足够的expert batch size。