跳到主要内容

BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

#2-transformer_model · 16 篇文章清除筛选

2026.09.2011 分钟

MLA 结构代码实现及优化

MLA 结构的可视化图如下所示：

#llm_note #2-transformer_model

2026.09.209 分钟

transformer论文解读

CNN 的的卷积核窗口大小有限，每次只能看比较短的部分序列，但是它的多通道机制被认为可以去识别多模式，transformer 论文参考这个机制，在 attention 的机制进一步引出了 Muti-Head Attention，来模拟卷积层的多输出通道效果。

#llm_note #2-transformer_model

2026.09.2010 分钟

位置编码算法背景知识

理解 RoPE 位置编码算法的原理和推导公式之前得先具备一些背景知识，主要是关于三角函数、旋转矩阵、直角坐标系、欧几里得内积的相关概念和公式，可以先快速阅览本章内容，后续关于 RoPE 算法的推导不理解的时候，再来细看相关公式和概念即可。

#llm_note #2-transformer_model

2026.09.2010 分钟

llm 推理 latency 分析

基于 roofline 模型和的 llm 推理 decode 阶段的 latency 分析:

#llm_note #2-transformer_model

2026.09.2010 分钟

transformers库快速入门

token: 可以理解为最小语义单元，翻译的话可以是词元、令牌、词，也可以是 word/char/subword，单理解就是单词和标点。

#llm_note #2-transformer_model

2026.09.2015 分钟

gpt1-3论文解读

参考计算机视觉模型，使用没有标记的文本去做生成式预训练，然后在特定任务上做判别式微调。

#llm_note #2-transformer_model

2026.09.2027 分钟

DeepSeekV3-MoE模块代码解析测试

MoEGate 是 DeepSeek-V3 中混合专家（MoE）架构的门控机制核心组件，负责为每个 token 动态选择合适的专家进行处理。其主要创新点包括：

#llm_note #2-transformer_model

2026.09.2020 分钟

LLaVA 系列模型结构详解

模型概述：作者将输入的图像划分为固定大小的图像块，对每个图像块都进行线性嵌入，添加位置嵌入，并将生成的向量序列输入到标准的 Transformer 编码器中。为了进行分类，参考前人经验，使用标准方法，即在序列中添加一个额外的可学习“分类令牌”。

#llm_note #2-transformer_model

2026.09.209 分钟

Sinusoida 位置编码详解

不同于 RNN、CNN 等模型，对于 Transformer 模型来说，位置编码的加入是必不可少的，因为纯粹的 Attention 模块是无法捕捉输入顺序的，即无法区分不同位置的 Token。

#llm_note #2-transformer_model

2026.09.206 分钟

vit 论文速读

META 于 2020 年发表 DETR 论文，紧跟着谷歌从特征编码的角度深入研究 Transformer 在视觉表征层面的学习能力，进而提出了 Vision Transformer (ViT) 模型。模型结构比较简单，是自注意力机制和前馈网络的直接堆叠，只使用到了 Transformer 中的 encoder 结构。

#llm_note #2-transformer_model

2026.09.203 分钟

面试题：为什么大模型采用 Decoder-only 架构？

Transformer 模型最初包含 Encoder 和 Decoder 两个部分：

#llm_note #2-transformer_model

2026.09.2012 分钟

DeepSeekV2 论文解读

DeepSeek-V2 是一种高效的开源混合专家（MoE）语言模型，基于创新的 Transformer 架构，实现了经济的训练和高效的推理。DeepSeek-V2 具有 2360 亿个参数(236B)，每个 token 激活 21 亿个参数，支持 128K tokens 的上下文长度。

#llm_note #2-transformer_model