SUN 15 分钟
BLOG / 766 ARTICLES
技术笔记
计算机基础、AI、后端与客户端开发笔记
AI · 154 篇文章清除筛选
6 分钟
1 分钟
11 分钟
2 分钟
AI
ReAct系统提示词
你需要解决一个任务。为此，你需要将任务分解为多个步骤。对于每个步骤，首先使用 Thought: 思考要做什么，然后使用可用工具之一决定一个 Action:。接着，你将根据你的行动从环境/工具中收到一个 Observation:。持续这个思考和行动的过程，直到你有足够的信息来提供 FinalAnswer:。
13 分钟
AI
AI Coding 面试实战题
下面几道题是我从公开面经和牛客内容里整理出来的。练习时别背整段答案，至少要亲手跑一遍“澄清需求—拆任务—让 AI 实现—看代码—做测试”的过程，不然面试官追问两句就容易露馅。
1 分钟
11 分钟
AI
vllm 优化之 cuda_graph 详解
vllm 是 pythonic 的 llm 推理框架，在 cpu 进行 cuda kernel launch（启动）的 eager mode 时，其存在可较大的 kernel launch 开销，尤其是对于 batch较小/模型较小的情况，kernel 启动开销过大！由此，作者基于 torch 使用 cuda graph 来直接减少 kernel launc
17 分钟
10 分钟
9 分钟
AI
transformer论文解读
CNN 的的卷积核窗口大小有限，每次只能看比较短的部分序列，但是它的多通道机制被认为可以去识别多模式，transformer 论文参考这个机制，在 attention 的机制进一步引出了 Muti-Head Attention，来模拟卷积层的多输出通道效果。
14 分钟
AI
CUDA内核执行配置及线程索引计算
前面的内容我们知道可以为一个核函数配置多个线程（每个线程同一时刻只能处理一个数据），而这些线程的组织是通过内核调用函数的执行配置 <<<grid_size, block_size>> >来决定的，执行配置决定了如何划分并行任务。