跳到主要内容
SUN / 笔记

BLOG / 766 ARTICLES

技术笔记

计算机基础、AI、后端与客户端开发笔记

AI · 154 篇文章清除筛选
2 分钟
AI

高德 Agent 研发面复习卡

本页保留原始面经的跨主题时间索引和一页复习卡；详细内容已拆入对应专题，避免一篇文档同时承担记忆、评测、RAG 和结构化输出四种职责。

#Agentic
92 分钟
AI

模型技术解析合集

Kimi K3 的 Stable LatentMoE 是其大规模 MoE（Mixture-of-Experts）架构中的核心技术之一，它主要解决传统 MoE 模型在扩展到万亿级参数规模后出现的训练不稳定、Expert 负载不均衡、Router 崩溃以及长时间训练难以收敛的问题。简单来说，普通 MoE 的核心思想是“扩大模型参数，但每次只激活部分 Expert

9 分钟
AI

浅析dataflow芯片架构和组成

GPU 虽然是冯诺依曼架构，但是去除了 CPU 中的分支预测、乱序执行等模块，遵循 SIMT（Single Instruction Multiple Thread）的编程模型，同一条指令可以同时在多个线程上执行，极大的增强了计算程序执行时的并行性。

#llm_note#1-hpc_note#dataflow_ai
6 分钟
AI

知识检索（RAG）

LLM 虽有强大文本生成能力，但受限于训练数据，知识是静态的，无法包含实时或专有数据，导致响应可能过时、不准确或缺乏特定场景所需的上下文。RAG（Retrieval-Augmented Generation）模式通过连接 LLM 与外部知识源来解决这一问题。

#Agentic
12 分钟
AI

DeepSeekV2 论文解读

DeepSeek-V2 是一种高效的开源混合专家（MoE）语言模型，基于创新的 Transformer 架构，实现了经济的训练和高效的推理。DeepSeek-V2 具有 2360 亿个参数(236B)，每个 token 激活 21 亿个参数，支持 128K tokens 的上下文长度。

#llm_note#2-transformer_model
22 分钟
AI

DeepseekV3 论文解读

DeepSeek-V3，是一个强大的混合专家（MoE）语言模型，总参数量达 6710 亿（671B），每个 token 激活 370 亿（37B）参数。为实现高效推理和经济高效的训练，DeepSeek-V3 采用了多头潜在注意力（MLA）和 DeepSeekMoE 架构，这些架构已在 DeepSeek-V2 中得到充分验证。

#llm_note#2-transformer_model
3 分钟
AI

RAG 面试速记

RAG 在推理时注入可更新、可引用的外部事实；微调主要改变模型行为、表达格式或领域任务能力。需要最新/私域/可追溯事实优先 RAG；需要稳定格式、风格或任务能力考虑微调；两者可以组合。

#Agentic#RAG
页