SUN 14 分钟
AI
online-softmax论文解读
Softmax 函数在机器学习中应用广泛，此前的多项研究提出了更快的替代方案。本文针对提升原始 Softmax 性能，提出了一种一次遍历输入数据来计算 Softmax 函数归一化项的方法，作用是减少内存访问次数，并称其为“在线 Softmax”，并推测这种减少内存访问的方法可以提升 Softmax 在实际硬件上的性能。基准测试也证实了这一推测：Softmax
BLOG / 766 ARTICLES
技术笔记
计算机基础、AI、后端与客户端开发笔记
766 篇文章
3 分钟
8 分钟
7 分钟
AI
路由模式（Routing）
相比提示链模式的固定线性流程，路由模式能根据输入动态选择不同的处理路径。它通过一个路由器对输入进行分类或评估，然后将其导向最合适的专用处理器，使系统从固定执行路径转变为动态决策系统。
2 分钟
2 分钟
8 分钟
5 分钟
4 分钟
15 分钟
7 分钟
AI
vllm 推理流程剖析
简单来讲，大模型推理一般会经历 4 个流程：Tokenizer -> Model.forward -> Sampler -> DeTokenizer，但对于集成了各种优化技术的 vllm 框架来说，大模型推理服务流程是非常复杂的
1 分钟