SUN 11 分钟
BLOG / 766 ARTICLES
技术笔记
计算机基础、AI、后端与客户端开发笔记
#llm_note · 72 篇文章清除筛选
11 分钟
AI
vllm 优化之 cuda_graph 详解
vllm 是 pythonic 的 llm 推理框架，在 cpu 进行 cuda kernel launch（启动）的 eager mode 时，其存在可较大的 kernel launch 开销，尤其是对于 batch较小/模型较小的情况，kernel 启动开销过大！由此，作者基于 torch 使用 cuda graph 来直接减少 kernel launc
9 分钟
AI
transformer论文解读
CNN 的的卷积核窗口大小有限，每次只能看比较短的部分序列，但是它的多通道机制被认为可以去识别多模式，transformer 论文参考这个机制，在 attention 的机制进一步引出了 Muti-Head Attention，来模拟卷积层的多输出通道效果。
14 分钟
AI
CUDA内核执行配置及线程索引计算
前面的内容我们知道可以为一个核函数配置多个线程（每个线程同一时刻只能处理一个数据），而这些线程的组织是通过内核调用函数的执行配置 <<<grid_size, block_size>> >来决定的，执行配置决定了如何划分并行任务。
19 分钟
27 分钟
AI
llm综合分析论文翻译
语言模型（LLMs）已经彻底革新了自然语言处理领域，但其不断增长的复杂性使得在不同硬件配置下的部署和优化变得更加困难。“语言模型比较分析”项目提供了一个全面的评估框架，用于测试 LLM 在各种平台上的性能、计算效率和内存使用情况。通过比较分析预训练模型和定制模型在不同 GPU 上的表现，该项目揭示了性能特征、可扩展性以及资源利用情况。项目采用了网络分析图和
12 分钟
32 分钟
AI
Roofline 论文解读
多核处理器设计的兴起，同时针对多核设计还没有统一的设计原则，这使得程序员编写高性能程序面临更加复杂的挑战，因此提出一个易于理解并能提供性能优化建议的性能模型显得尤为重要。
12 分钟
7 分钟
6 分钟
AI
理解 triton 内核教程 3
LN 作用是减少了不同特征之间的依赖关系，可以使得模型训练更加稳定，收敛更快，并提高了模型的泛化能力。Batch Norm 和 Layer Norm 的区别一句话总结就是 bn 是切特征，ln 是切样本。
4 分钟