跳到主要内容

BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

766 篇文章

2026.09.204 分钟

tgi性能瓶颈分析实验

前言：分析性能瓶颈，对比 2/4/8卡 A40、8卡 A100 的 prefill、decode、通信耗时占比区别，给出定量结论。

#llm_note #5-framework

2026.09.2037 分钟

flashattention-1论文解读

Transformer 模型目前已经成为自然语言处理和图像分类等领域中使用最广泛的神经网络架构。虽然 Transformer 模型已经变得越来越大和深，但是处理更长的上下文依然还是有困难，最主要的原因是其核心模块-自注意力机制的时间和内存复杂度是序列长度的二次方。一个重要的问题是，让注意力更快、内存效率更高是否可以帮助 Transformer 模型解决长序列

#llm_note #3-llm_infer_optimize

2026.09.209 分钟

triton内核开发基础1

常用的 Triton 基础函数及其作用如下：

#llm_note #1-hpc_note

2026.09.207 分钟

llm_note

LLM notes, including model inference, hpc programming note, transformer model structure, and vllm framework code analysis notes.

2026.09.20103 分钟

第一部分：大模型基础（所有公司必问）

这份资料结合200+份真实面经（阿里飞猪、AI应用开发、Agent/RAG方向）以及当前大厂真实招聘趋势，把 AI开发工程师 / AI应用工程师 / Agent工程师 / LLM工程师面试题整理成题库。

2026.09.2018 分钟

护栏与安全模式（Guardrails and Safety Patterns）

护栏（Guardrails），也称为安全模式，是确保智能体安全、合规并按预期运行的一组机制。

2026.09.2010 分钟

位置编码算法背景知识

理解 RoPE 位置编码算法的原理和推导公式之前得先具备一些背景知识，主要是关于三角函数、旋转矩阵、直角坐标系、欧几里得内积的相关概念和公式，可以先快速阅览本章内容，后续关于 RoPE 算法的推导不理解的时候，再来细看相关公式和概念即可。

#llm_note #2-transformer_model

2026.09.204 分钟

动手学大模型：大模型知识编辑

导读: 语言模型的编辑方法和工具

#dive-into-llms-main #documents #chapter3

2026.09.203 分钟

Prompt Engineering 知识点

Prompt（提示词）是给 AI 模型的指令，指令的明确性和详细性决定了模型的输出效果。

2026.09.2014 分钟

英伟达 GPU 性能分析指导

本文主要介绍了 GPU 结构、操作的执行方式以及深度学习操作的常见限制，目的是为了更好的理解 GPU 的基本运行原理以及神经网络或特定网络层如何高效利用给定 GPU。

#llm_note #1-hpc_note

2026.09.2010 分钟

llm 推理 latency 分析

基于 roofline 模型和的 llm 推理 decode 阶段的 latency 分析:

#llm_note #2-transformer_model

2026.09.207 分钟

RAG 工程全流程

离线侧：数据源接入 → 解析清洗 → 切块 → 元数据与权限 → Embedding → 建立倒排索引和向量索引 → 版本化更新。