BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

#llm_note · 72 篇文章清除筛选

2026.09.2027 分钟

DeepSeekV3-MoE模块代码解析测试

MoEGate 是 DeepSeek-V3 中混合专家（MoE）架构的门控机制核心组件，负责为每个 token 动态选择合适的专家进行处理。其主要创新点包括：

#llm_note #2-transformer_model

2026.09.203 分钟

浅析Tenstorrent软件栈

TT-BUDA 是为 Tenstorrent 芯片开发的 AI 软件栈，兼容主流深度学习框架如 Pytorch、TensorFlow 等，通过 TT-BUDA 软件栈能够生成可执行文件，用于在 Tenstorrent 芯片上运行的 AI 模型。

#llm_note #1-hpc_note #dataflow_ai

2026.09.2019 分钟

理解 triton 之基础知识

在 PyTorch 中，张量的维度（或称为“秩”）决定了数据的结构和形状：

#llm_note #1-hpc_note

2026.09.2029 分钟

vllm 优化之 PagedAttention 源码解读

PagedAttention 算法的原理可以参考我前面写的文章vllm优化技术速览。从源码的角度来看 PagedAttention，其实可以分为两部分:

#llm_note #3-llm_infer_optimize

2026.09.205 分钟

deepspeed推理框架评测总结

DS 是 deepspeed 框架的缩写，本文分别评测了 DeepSpeed、transformers、FasterTransformer 三个框架。

#llm_note #5-framework #others

2026.09.2010 分钟

triton内核开发基础2

本节的例子是学习实现一个融合的 “Softmax” 算子：对于某类矩阵，其速度是显著快于 PyTorch 的原生操作，因为这些矩阵的行能够适应 GPU 的 SRAM。

#llm_note #1-hpc_note

2026.09.2020 分钟

LLaVA 系列模型结构详解

模型概述：作者将输入的图像划分为固定大小的图像块，对每个图像块都进行线性嵌入，添加位置嵌入，并将生成的向量序列输入到标准的 Transformer 编码器中。为了进行分类，参考前人经验，使用标准方法，即在序列中添加一个额外的可学习“分类令牌”。

#llm_note #2-transformer_model

2026.09.2010 分钟

CUDA背景知识

GPU的微观结构因不同厂商、不同架构都会有所差异，但核心部件、概念、以及运行机制大同小异，NVidia Tesla 微观架构如下图所示:

#llm_note #1-hpc_note

2026.09.205 分钟

deepspeed推理优化技术概览

早期的 DeepSpeed 框架虽然支持训练大规模模型，但是训练好的模型在已有的推理解决方案上面临以下问题：

#llm_note #5-framework #others

2026.09.2020 分钟

集合通信总结和实践

P2P 是点对点通信，是消息传递系统的基础功能。P2P 支持在进程对之间进行数据传输，一端发送，另一端接收。

#llm_note #4-llm_parallel

2026.09.207 分钟

llm并行策略概述

1，对于单节点服务器（8 卡）的数据并行 DP（Data Parallelism）算法，一般 GPU0 执行 AllReduce 操作，即执行聚合再下发梯度的操作。实现 DP 的一种经典编程框架叫“参数服务器”，在这个框架里，计算 GPU 称为Worker，梯度聚合 GPU 称为 Server。

#llm_note #5-framework

2026.09.2013 分钟

CUDA内核优化策略

CUDA GPU提供了多种内存类型，每种类型的访问速度和用途不同。有效利用这些内存类型可以显著提升内核性能。

#llm_note #1-hpc_note