生产评测应再加入：写入准确率与漏写率、检索 Recall@k/nDCG、冲突更新准确率、错误经验传播率、隐私删除完整性、跨租户泄漏率、p50/p95 延迟、每轮 Token/模型调用成本，以及最终任务成功率。所有公开分数都要记录 reader LLM、embedding、reranker、top-k、提示、数据版本和 judge；否则“同一基准”并不代表可比

#Agentic #评测与可观测性

2026.09.2013 分钟

kv-cache 原理及优化概述

背景：生成式模型的推理过程很有特点，推理生成 tokens 的过程是迭代式的。简单来说就是，用户给一个输入文本，模型会输出一个回答（长度为 N），但该过程中实际执行了 N 次模型前向传播过程。即 GPT 类模型一次推理只输出一个 token，当前轮输出的 token 与之前输入 tokens 拼接，并作为下一轮的输入 tokens，反复多次直到遇到终止符 E

#llm_note #3-llm_infer_optimize

2026.09.204 分钟

哆啦A梦与超级赛亚人：时空之战

在一个寻常的午后，大雄依旧坐在书桌前发呆，作业堆得像山，连第一页都没动。哆啦A梦在一旁翻着漫画，时不时叹口气，觉得这孩子还是一如既往的不靠谱。正当他们的生活照常进行时，一道强光突然从天而降，整个房间震动不已。光芒中走出一名金发少年，身披战甲、气势惊人，他就是来自未来的超级赛亚人——特兰克斯。他一出现便说出了惊人的话：未来的地球即将被黑暗势力摧毁，他来此是为了

#VideoCode-main #使用Python构建RAG系统 #rag

2026.09.2018 分钟

张量并行技术详解

为了训练更大的 transformer 模型，Megatron-LM 论文作者引入了一种简单高效的 intra-layer model parallel（层内模型并行，也叫张量并行）方法，它无需安装新的编译器和库，和早期的 pipeline model parallelism 方法互为正交且互补，并且只需在 native PyTorch 中插入少量 com

#llm_note #4-llm_parallel

2026.09.2027 分钟

DeepSeekV3-MoE模块代码解析测试

MoEGate 是 DeepSeek-V3 中混合专家（MoE）架构的门控机制核心组件，负责为每个 token 动态选择合适的专家进行处理。其主要创新点包括：

#llm_note #2-transformer_model