SUN 19 分钟
AI
SmoothQuant 量化详解
SmoothQuant 是 PTQ（训练后量化）方案，量化位宽为 W8A8，即权重和激活都是用 8bit 量化，SmoothQuant 的核心贡献是，基于权重易量化而激活难量化的观察提出了一个解决办法：引入平滑因子 s 来平滑激活中的异常值，并通过数学上的等效转换将量化的难度从激活迁移至权重上。这个方法可以使 INT8 量化能够应用于 LLMs 中所有的矩阵
BLOG / 766 ARTICLES
技术笔记
计算机基础、AI、后端与客户端开发笔记
766 篇文章
13 分钟
AI
英伟达GPU通信和多卡拓扑结构
GPU 卡间互连带宽，指的是不同卡之间互连通信速度。单机多卡内存和 GPU、GPU 和 GPU 之间互联可通过 PCIE、NVLink、NVSwitch； 多机多卡 GPU 之间（不同主机）、CPU 与 GPU 之间互联可通过 GPUDirect RDMA、IB/万兆以太网 + TCP/IP。
14 分钟
7 分钟
12 分钟
22 分钟
AI
triton内核编译流程解析
Triton 既是语言，可用于编写高性能计算 GPU kernel，使用 Triton 编写核函数必须按照其提供的 DSL 进行编写，否则运行失败。也是编译器（根据配置自动生成 kernel），采用 just-in-time 机制进行编译。如果你编写了一个用 triton.jit 修饰的核函数，那么在运行时其会被编译成底层 GPU 二进制（PTX / SAS
5 分钟
2 分钟
20 分钟
2 分钟
7 分钟
13 分钟