跳到主要内容
SUN / 笔记

BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

AI · 154 篇文章清除筛选
7 分钟
AI

llm_note

LLM notes, including model inference, hpc programming note, transformer model structure, and vllm framework code analysis notes.

#llm_note
103 分钟
AI

第一部分：大模型基础（所有公司必问）

这份资料结合200+份真实面经（阿里飞猪、AI应用开发、Agent/RAG方向）以及当前大厂真实招聘趋势，把 AI开发工程师 / AI应用工程师 / Agent工程师 / LLM工程师 面试题整理成题库。

10 分钟
AI

位置编码算法背景知识

理解 RoPE 位置编码算法的原理和推导公式之前得先具备一些背景知识，主要是关于三角函数、旋转矩阵、直角坐标系、欧几里得内积的相关概念和公式，可以先快速阅览本章内容，后续关于 RoPE 算法的推导不理解的时候，再来细看相关公式和概念即可。

#llm_note#2-transformer_model
14 分钟
AI

英伟达 GPU 性能分析指导

本文主要介绍了 GPU 结构、操作的执行方式以及深度学习操作的常见限制，目的是为了更好的理解 GPU 的基本运行原理以及神经网络或特定网络层如何高效利用给定 GPU。

#llm_note#1-hpc_note
7 分钟
AI

RAG 工程全流程

离线侧：数据源接入 → 解析清洗 → 切块 → 元数据与权限 → Embedding → 建立倒排索引和向量索引 → 版本化更新。

#Agentic#RAG
19 分钟
AI

SmoothQuant 量化详解

SmoothQuant 是 PTQ（训练后量化）方案，量化位宽为 W8A8，即权重和激活都是用 8bit 量化，SmoothQuant 的核心贡献是，基于权重易量化而激活难量化的观察提出了一个解决办法：引入平滑因子 s 来平滑激活中的异常值，并通过数学上的等效转换将量化的难度从激活迁移至权重上。这个方法可以使 INT8 量化能够应用于 LLMs 中所有的矩阵

#llm_note#3-llm_infer_optimize
13 分钟
AI

英伟达GPU通信和多卡拓扑结构

GPU 卡间互连带宽，指的是不同卡之间互连通信速度。单机多卡内存和 GPU、GPU 和 GPU 之间互联可通过 PCIE、NVLink、NVSwitch； 多机多卡 GPU 之间（不同主机）、CPU 与 GPU 之间互联可通过 GPUDirect RDMA、IB/万兆以太网 + TCP/IP。

#llm_note#1-hpc_note
页