SUN 7 分钟
AI
vllm 推理流程剖析
简单来讲，大模型推理一般会经历 4 个流程：Tokenizer -> Model.forward -> Sampler -> DeTokenizer，但对于集成了各种优化技术的 vllm 框架来说，大模型推理服务流程是非常复杂的
BLOG / 766 ARTICLES
技术笔记
计算机基础、AI、后端与客户端开发笔记
#5-framework · 14 篇文章清除筛选
58 分钟
AI
llm 推理揭秘论文翻译
在大型语言模型 (LLM) 高效推理领域，尽管其发展迅速且充满活力，但目前尚缺乏一个简洁的框架来分析各种 LLM 推理方法，从而清晰地理解这一领域。我们的综述区别于传统的文献回顾，不仅总结了现有研究的现状，还基于 Roofline 模型提出了一个用于系统分析 LLM 推理技术的框架。该框架能够识别在硬件设备上部署 LLM 时的瓶颈，并为诸如为什么 LLM 受