跳到主要内容
SUN / 笔记

BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

AI · 154 篇文章清除筛选
235 分钟
AI

后训练与AgentRL

OPD（On-Policy Distillation）的核心并不是“必须拿到Teacher的完整Logprob”，而是Student自己先进行On-Policy Rollout，然后让Teacher对Student产生的轨迹提供额外的监督信号，再把这个Teacher信号蒸馏回Student；因此当Teacher是闭源API模型、只返回文本而不给Token级L

10 分钟
AI

triton内核开发基础2

本节的例子是学习实现一个融合的 “Softmax” 算子：对于某类矩阵，其速度是显著快于 PyTorch 的原生操作，因为这些矩阵的行能够适应 GPU 的 SRAM。

#llm_note#1-hpc_note
20 分钟
AI

LLaVA 系列模型结构详解

模型概述：作者将输入的图像划分为固定大小的图像块，对每个图像块都进行线性嵌入，添加位置嵌入，并将生成的向量序列输入到标准的 Transformer 编码器中。为了进行分类，参考前人经验，使用标准方法，即在序列中添加一个额外的可学习“分类令牌”。

#llm_note#2-transformer_model
10 分钟
AI

CUDA背景知识

GPU的微观结构因不同厂商、不同架构都会有所差异，但核心部件、概念、以及运行机制大同小异，NVidia Tesla 微观架构如下图所示:

#llm_note#1-hpc_note
7 分钟
AI

llm并行策略概述

1，对于单节点服务器（8 卡）的数据并行 DP（Data Parallelism）算法，一般 GPU0 执行 AllReduce 操作，即执行聚合再下发梯度的操作。实现 DP 的一种经典编程框架叫“参数服务器”，在这个框架里，计算 GPU 称为Worker，梯度聚合 GPU 称为 Server。

#llm_note#5-framework
页