跳到主要内容
SUN / 笔记

BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

766 篇文章
18 分钟
AI

推理技术(Reasoning Techniques)

简单任务可以由模型一次生成答案,复杂任务则需要分解、搜索、验证和调整。智能体推理的价值不在于生成更长的“思考文字”,而在于把问题求解组织成可执行、可观察、可验证、可终止的工作流。

2 分钟
AI

高德 Agent 研发面复习卡

本页保留原始面经的跨主题时间索引和一页复习卡;详细内容已拆入对应专题,避免一篇文档同时承担记忆、评测、RAG 和结构化输出四种职责。

92 分钟
AI

模型技术解析合集

Kimi K3 的 Stable LatentMoE 是其大规模 MoE(Mixture-of-Experts)架构中的核心技术之一,它主要解决传统 MoE 模型在扩展到万亿级参数规模后出现的训练不稳定、Expert 负载不均衡、Router 崩溃以及长时间训练难以收敛的问题。简单来说,普通 MoE 的核心思想是“扩大模型参数,但每次只激活部分 Expert

9 分钟
AI

浅析dataflow芯片架构和组成

GPU 虽然是冯诺依曼架构,但是去除了 CPU 中的分支预测、乱序执行等模块,遵循 SIMT(Single Instruction Multiple Thread)的编程模型,同一条指令可以同时在多个线程上执行,极大的增强了计算程序执行时的并行性。

6 分钟
AI

知识检索(RAG)

LLM 虽有强大文本生成能力,但受限于训练数据,知识是静态的,无法包含实时或专有数据,导致响应可能过时、不准确或缺乏特定场景所需的上下文。RAG(Retrieval-Augmented Generation)模式通过连接 LLM 与外部知识源来解决这一问题。

12 分钟
AI

DeepSeekV2 论文解读

DeepSeek-V2 是一种高效的开源混合专家(MoE)语言模型,基于创新的 Transformer 架构,实现了经济的训练和高效的推理。DeepSeek-V2 具有 2360 亿个参数(236B),每个 token 激活 21 亿个参数,支持 128K tokens 的上下文长度。

页