BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

AI · 154 篇文章清除筛选

2026.09.206 分钟

llm推理服务框架总结

这里我给出各大 llm 服务引擎的主要特性总结，大家都有的常规或者体现不出差距的特性则忽略。

#llm_note #5-framework

2026.09.205 分钟

prompt-cache论文速读

在多轮对话、DocQA 和 RAG 客服系统场景下中，提示词会包含重复的文本段落，如系统消息、提示模板和用于上下文的文档，也就是说常见文本段的注意力状态（也就是 kv 缓冲向量）\{(k_1,v_1), (k_2,v_2),..,(k_n,v_n)\} 是可以重复利用的。Prompt Cache 论文基于这一关键观察，设计了一个提示词模块提出来明确定义这些

#llm_note #3-llm_infer_optimize

2026.09.2028 分钟

AWQ 代码深入剖析

作者提供了 llm-awq 仓库，开源包括了量化算法、量化模型转换和量化模型推理的代码，另外提供了 entry.py 代码来调用模型权重量化和量化推理接口。

#llm_note #3-llm_infer_optimize

2026.09.207 分钟

图神经网络与 PyTorch Geometric

任务类型决定数据划分、组 batch 方法、模型输出形状和指标，不能只替换最后一个分类层。

#深度学习

2026.09.201 分钟

上下文与记忆 MOC

上下文与记忆 MOC，AI相关学习记录。

#Agentic #上下文与记忆

2026.09.2020 分钟

triton内核开发基础3

torch 中 Tensor 的乘法有几种方法，如 *、torch.mul、torch.multiply、torch.dot、torch.mv、torch.mm、torch.matmul、torch.einsum 等，主要分为 3 种：

#llm_note #1-hpc_note

2026.09.204 分钟

flashattention-3论文速读

flashattention-2 虽然减少了非矩阵乘法的计算量，提高了运行速度，但是其并未充分利用最新硬件的功能，导致在 H100 GPU 上的利用率仅为 35%，由此作者提出了 flashattention-3，提出了3 项优化策略来提升 Hopper GPU 上的注意力计算性能：

#llm_note #3-llm_infer_optimize

2026.09.203 分钟

MoE专家并行详解

在 MOE 模块中，Router 负责决定发送 token 到指定 expert 中，在实际模型推理过程中，可能某些 experts 接收 tokens 过多，某些 experts 接收 tokens 过少，这种现象叫做 expert 负载不均衡。这种情况不仅脱离了 MoE 的设计初衷（术业有专攻），也影响了 MoE 计算效率（分布式训练推理中各卡通讯时的

#llm_note #4-llm_parallel

2026.09.204 分钟