SUN 7 分钟
AI
路由模式（Routing）
相比提示链模式的固定线性流程，路由模式能根据输入动态选择不同的处理路径。它通过一个路由器对输入进行分类或评估，然后将其导向最合适的专用处理器，使系统从固定执行路径转变为动态决策系统。
BLOG / 766 ARTICLES
技术笔记
计算机基础、AI、后端与客户端开发笔记
AI · 154 篇文章清除筛选
2 分钟
2 分钟
8 分钟
5 分钟
4 分钟
15 分钟
7 分钟
AI
vllm 推理流程剖析
简单来讲，大模型推理一般会经历 4 个流程：Tokenizer -> Model.forward -> Sampler -> DeTokenizer，但对于集成了各种优化技术的 vllm 框架来说，大模型推理服务流程是非常复杂的
1 分钟
1 分钟
6 分钟
AI
资源感知优化（Resource-Aware Optimization）
LLM 应用常常昂贵且缓慢，任务全用最优模型并不高效，需在输出质量与资源消耗间权衡。资源感知优化解决智能系统在计算、时间和财务资源消耗上的管理难题。缺乏动态管理策略，系统无法适应任务复杂度变化或预算与性能约束。
9 分钟
AI
Sinusoida 位置编码详解
不同于 RNN、CNN 等模型，对于 Transformer 模型来说，位置编码的加入是必不可少的，因为纯粹的 Attention 模块是无法捕捉输入顺序的，即无法区分不同位置的 Token。