BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

#5-framework · 14 篇文章清除筛选

2026.09.2027 分钟

llm综合分析论文翻译

语言模型（LLMs）已经彻底革新了自然语言处理领域，但其不断增长的复杂性使得在不同硬件配置下的部署和优化变得更加困难。“语言模型比较分析”项目提供了一个全面的评估框架，用于测试 LLM 在各种平台上的性能、计算效率和内存使用情况。通过比较分析预训练模型和定制模型在不同 GPU 上的表现，该项目揭示了性能特征、可扩展性以及资源利用情况。项目采用了网络分析图和

#llm_note #5-framework

2026.09.207 分钟

llm推理性能测试方案

prompt 数据集分成英文和中文数据集，英文的是 vllm 框架所采用的数据集（裁剪版，只使用了 2000条左右），中文的是 ziya 数据。

#llm_note #5-framework

2026.09.204 分钟

tgi性能瓶颈分析实验

前言：分析性能瓶颈，对比 2/4/8卡 A40、8卡 A100 的 prefill、decode、通信耗时占比区别，给出定量结论。

#llm_note #5-framework

2026.09.207 分钟

lightllm模型推理概述

自定义的 llama 模型结构定义实现在 lightllm 框架中。LightLLM 类在 models/light_llm.py 文件中定义。

#llm_note #5-framework

2026.09.2020 分钟

vllm优化技术速览

vLLM 是一个快速且易于使用且大模型推理服务框架，声称有以下快速特性：

#llm_note #5-framework

2026.09.2019 分钟

deepspeed推理和训练优化概述

伴随着 Transformer 结构的提出，后续 LLM 参数开始从亿级到百亿、乃至万亿级增长，与超高速增长到模型参数量相比， GPU 显存的增长实属有限，有数据显示每 18 个月仅翻了 1.7 倍。模型参数量的增长和硬件的显存的增长之间的差距越来越大，但从目前趋势看，超大的计算量和参数量是目前 LLM 训练和推理的必经之路。在千亿模型上训练就需要 1.5T

#llm_note #5-framework #others

2026.09.206 分钟

llm推理服务框架总结

这里我给出各大 llm 服务引擎的主要特性总结，大家都有的常规或者体现不出差距的特性则忽略。

#llm_note #5-framework

2026.09.205 分钟

deepspeed推理框架评测总结

DS 是 deepspeed 框架的缩写，本文分别评测了 DeepSpeed、transformers、FasterTransformer 三个框架。

#llm_note #5-framework #others

2026.09.205 分钟

deepspeed推理优化技术概览

早期的 DeepSpeed 框架虽然支持训练大规模模型，但是训练好的模型在已有的推理解决方案上面临以下问题：

#llm_note #5-framework #others

2026.09.207 分钟

llm并行策略概述

1，对于单节点服务器（8 卡）的数据并行 DP（Data Parallelism）算法，一般 GPU0 执行 AllReduce 操作，即执行聚合再下发梯度的操作。实现 DP 的一种经典编程框架叫“参数服务器”，在这个框架里，计算 GPU 称为Worker，梯度聚合 GPU 称为 Server。

#llm_note #5-framework

2026.09.2012 分钟

FasterTransformer速览

FasterTransformer(FT) 是一个库，用于实现基于 Transformer 的神经网络推理的加速引擎，对于大模型，其以分布式方式跨越许多 GPU 和节点。FasterTransformer 包含 Transformer 块的高度优化版本的实现，其中包含编码器 Encoder 和解码器 Decoder 部分。基于 FT 可以运行完整的编码器-解

#llm_note #5-framework #others

2026.09.208 分钟

lightllm 性能瓶颈分析

算子占比分析、通信时间对比分析、不同阶段的算子分析。

#llm_note #5-framework