BLOG / 766 ARTICLES
技术笔记
计算机基础、AI、后端与客户端开发笔记
766 篇文章
5 分钟
4 分钟
2 分钟
15 分钟
6 分钟
1 分钟
11 分钟
2 分钟
AI
ReAct系统提示词
你需要解决一个任务。为此,你需要将任务分解为多个步骤。对于每个步骤,首先使用 Thought: 思考要做什么,然后使用可用工具之一决定一个 Action:。接着,你将根据你的行动从环境/工具中收到一个 Observation:。持续这个思考和行动的过程,直到你有足够的信息来提供 FinalAnswer:。
13 分钟
AI
AI Coding 面试实战题
下面几道题是我从公开面经和牛客内容里整理出来的。练习时别背整段答案,至少要亲手跑一遍“澄清需求—拆任务—让 AI 实现—看代码—做测试”的过程,不然面试官追问两句就容易露馅。
1 分钟
11 分钟
AI
vllm 优化之 cuda_graph 详解
vllm 是 pythonic 的 llm 推理框架,在 cpu 进行 cuda kernel launch(启动)的 eager mode 时,其存在可较大的 kernel launch 开销,尤其是对于 batch较小/模型较小的情况,kernel 启动开销过大!由此,作者基于 torch 使用 cuda graph 来直接减少 kernel launc
17 分钟