BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

AI · 154 篇文章清除筛选

2026.09.207 分钟

lightllm模型推理概述

自定义的 llama 模型结构定义实现在 lightllm 框架中。LightLLM 类在 models/light_llm.py 文件中定义。

#llm_note #5-framework

2026.09.2012 分钟

大模型微调完全指南

大语言模型（LLM）是一种专注于处理语言数据的人工智能模型，通过分析和学习海量文本数据来掌握语言的语法、语义和上下文关系，从而实现自然语言的理解与生成。

#大模型微调

2026.09.2022 分钟

triton内核编译流程解析

Triton 既是语言，可用于编写高性能计算 GPU kernel，使用 Triton 编写核函数必须按照其提供的 DSL 进行编写，否则运行失败。也是编译器（根据配置自动生成 kernel），采用 just-in-time 机制进行编译。如果你编写了一个用 triton.jit 修饰的核函数，那么在运行时其会被编译成底层 GPU 二进制（PTX / SAS

#llm_note #1-hpc_note

2026.09.205 分钟

动手学大模型：GUI智能体构建

1.了解GUI智能体领域的技术路线和研究现状

#dive-into-llms-main #documents #chapter9

2026.09.202 分钟

CUDA流介绍

CUDA 程序的并行层次有两个：kernel 函数内部和 kernel 函数外部的并行。核函数外部的并行主要指：

#llm_note #1-hpc_note

2026.09.2020 分钟

vllm优化技术速览

vLLM 是一个快速且易于使用且大模型推理服务框架，声称有以下快速特性：

#llm_note #5-framework

2026.09.202 分钟

LLM文本隐写术

本项目实现了基于大型语言模型（LLM）的文本隐写术，使用GPT-2模型在生成的文本中隐藏信息。项目包含两种编码方法：霍夫曼编码（Huffman Coding）和固定长度编码（Fixed Length Coding, FLC）。

#dive-into-llms-main #documents #chapter7

2026.09.207 分钟

RAG准确率优化：从60%到85%

来源：Bilibili - 面试官问：RAG准确率怎么从60%提高到85%？

#Agentic #RAG

2026.09.2013 分钟

7 分钟了解 10 种 RAG 策略

来源：Bilibili - 7 分钟了解 10 种 RAG 策略

#Agentic #RAG

2026.09.2019 分钟

deepspeed推理和训练优化概述

伴随着 Transformer 结构的提出，后续 LLM 参数开始从亿级到百亿、乃至万亿级增长，与超高速增长到模型参数量相比， GPU 显存的增长实属有限，有数据显示每 18 个月仅翻了 1.7 倍。模型参数量的增长和硬件的显存的增长之间的差距越来越大，但从目前趋势看，超大的计算量和参数量是目前 LLM 训练和推理的必经之路。在千亿模型上训练就需要 1.5T

#llm_note #5-framework #others

2026.09.2014 分钟

ReAct & Plan-and-Execute

在构建 LLM Agent 系统时，选择合适的推理模式至关重要。本文将深入对比两种主流的 Agent 推理模式：ReAct（Reasoning and Acting）和 Plan-and-Execute，通过实战案例帮助你做出正确的技术选型。

#Agentic

2026.09.206 分钟

动手学大模型：大模型智能体安全

导读: 该部分介绍大模型智能体构建与安全风险测评

#dive-into-llms-main #documents #chapter10