BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

#4-llm_parallel · 5 篇文章清除筛选

2026.09.2012 分钟

Switch-Transformers论文详解

llm 推理部署中的 All-to-All 通信包括：Dispatch 和 Combine 阶段。

#llm_note #4-llm_parallel

2026.09.203 分钟

MoE专家并行详解

在 MOE 模块中，Router 负责决定发送 token 到指定 expert 中，在实际模型推理过程中，可能某些 experts 接收 tokens 过多，某些 experts 接收 tokens 过少，这种现象叫做 expert 负载不均衡。这种情况不仅脱离了 MoE 的设计初衷（术业有专攻），也影响了 MoE 计算效率（分布式训练推理中各卡通讯时的

#llm_note #4-llm_parallel

2026.09.2018 分钟

张量并行技术详解

为了训练更大的 transformer 模型，Megatron-LM 论文作者引入了一种简单高效的 intra-layer model parallel（层内模型并行，也叫张量并行）方法，它无需安装新的编译器和库，和早期的 pipeline model parallelism 方法互为正交且互补，并且只需在 native PyTorch 中插入少量 com

#llm_note #4-llm_parallel

2026.09.2020 分钟