BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

#llm_note · 72 篇文章清除筛选

2026.09.2019 分钟

deepspeed推理和训练优化概述

伴随着 Transformer 结构的提出，后续 LLM 参数开始从亿级到百亿、乃至万亿级增长，与超高速增长到模型参数量相比， GPU 显存的增长实属有限，有数据显示每 18 个月仅翻了 1.7 倍。模型参数量的增长和硬件的显存的增长之间的差距越来越大，但从目前趋势看，超大的计算量和参数量是目前 LLM 训练和推理的必经之路。在千亿模型上训练就需要 1.5T

#llm_note #5-framework #others

2026.09.206 分钟

llm推理服务框架总结

这里我给出各大 llm 服务引擎的主要特性总结，大家都有的常规或者体现不出差距的特性则忽略。

#llm_note #5-framework

2026.09.205 分钟

prompt-cache论文速读

在多轮对话、DocQA 和 RAG 客服系统场景下中，提示词会包含重复的文本段落，如系统消息、提示模板和用于上下文的文档，也就是说常见文本段的注意力状态（也就是 kv 缓冲向量）\{(k_1,v_1), (k_2,v_2),..,(k_n,v_n)\} 是可以重复利用的。Prompt Cache 论文基于这一关键观察，设计了一个提示词模块提出来明确定义这些

#llm_note #3-llm_infer_optimize

2026.09.2028 分钟

AWQ 代码深入剖析

作者提供了 llm-awq 仓库，开源包括了量化算法、量化模型转换和量化模型推理的代码，另外提供了 entry.py 代码来调用模型权重量化和量化推理接口。

#llm_note #3-llm_infer_optimize

2026.09.2020 分钟

triton内核开发基础3

torch 中 Tensor 的乘法有几种方法，如 *、torch.mul、torch.multiply、torch.dot、torch.mv、torch.mm、torch.matmul、torch.einsum 等，主要分为 3 种：

#llm_note #1-hpc_note

2026.09.204 分钟

flashattention-3论文速读

flashattention-2 虽然减少了非矩阵乘法的计算量，提高了运行速度，但是其并未充分利用最新硬件的功能，导致在 H100 GPU 上的利用率仅为 35%，由此作者提出了 flashattention-3，提出了3 项优化策略来提升 Hopper GPU 上的注意力计算性能：

#llm_note #3-llm_infer_optimize

2026.09.203 分钟

MoE专家并行详解

在 MOE 模块中，Router 负责决定发送 token 到指定 expert 中，在实际模型推理过程中，可能某些 experts 接收 tokens 过多，某些 experts 接收 tokens 过少，这种现象叫做 expert 负载不均衡。这种情况不仅脱离了 MoE 的设计初衷（术业有专攻），也影响了 MoE 计算效率（分布式训练推理中各卡通讯时的

#llm_note #4-llm_parallel

2026.09.2010 分钟

transformers库快速入门

token: 可以理解为最小语义单元，翻译的话可以是词元、令牌、词，也可以是 word/char/subword，单理解就是单词和标点。

#llm_note #2-transformer_model

2026.09.2015 分钟

gpt1-3论文解读

参考计算机视觉模型，使用没有标记的文本去做生成式预训练，然后在特定任务上做判别式微调。

#llm_note #2-transformer_model

2026.09.2014 分钟

AWQ 量化详解

先回顾下 SmoothQuant 论文提到的几个关键总结：

#llm_note #3-llm_infer_optimize

2026.09.2013 分钟

kv-cache 原理及优化概述

背景：生成式模型的推理过程很有特点，推理生成 tokens 的过程是迭代式的。简单来说就是，用户给一个输入文本，模型会输出一个回答（长度为 N），但该过程中实际执行了 N 次模型前向传播过程。即 GPT 类模型一次推理只输出一个 token，当前轮输出的 token 与之前输入 tokens 拼接，并作为下一轮的输入 tokens，反复多次直到遇到终止符 E

#llm_note #3-llm_infer_optimize

2026.09.2018 分钟

张量并行技术详解

为了训练更大的 transformer 模型，Megatron-LM 论文作者引入了一种简单高效的 intra-layer model parallel（层内模型并行，也叫张量并行）方法，它无需安装新的编译器和库，和早期的 pipeline model parallelism 方法互为正交且互补，并且只需在 native PyTorch 中插入少量 com

#llm_note #4-llm_parallel