RAG 评测与排障

评测应分开观察检索、生成和系统链路；排障应从数据覆盖与解析开始，而不是直接更换大模型。

如何评测

先建立真实评测集，覆盖正常问题、长尾词、专有 ID、多跳问题、无答案问题、过期知识、权限边界和恶意文档。为查询标注相关文档/Chunk、标准答案或关键事实与可接受引用。

检索指标

• Hit@K：Top-K 是否至少有一条相关结果。
• Recall@K：Top-K 找回了多少应找回的相关结果。
• Precision@K：Top-K 中有多少真正相关。
• MRR：第一个相关结果排名的倒数，关注首条命中位置。
• nDCG@K：考虑相关性等级和排序位置。

生成指标

• Correctness：答案是否正确、完整。
• Faithfulness/Groundedness：答案中的事实是否能由给定上下文推出。
• Answer Relevance：是否直接回答问题。
• Citation Precision/Recall：引用是否真的支持陈述，关键陈述是否都有引用。
• Refusal Quality：无证据时是否正确拒答，而不是乱答。

RAGAS 等 LLM-as-a-judge 指标适合快速回归，但裁判模型也会偏差，必须用人工标注样本校准，不能把自动分数当绝对真值。

系统指标

关注端到端任务成功率、P50/P95/P99 延迟、错误率、token 与费用、新鲜度、索引延迟、权限泄漏率和用户反馈。上线前做组件消融；上线后做小流量 A/B 与错误案例回流。

高频排障矩阵

现象	主要定位	常见修复
知识库根本没有答案	数据覆盖	补数据源、更新同步
原文有答案但解析后没有	解析/OCR	修解析器、清洗、表格结构
Chunk 中有答案但没召回	切块/Embedding/Query	结构切块、改写、混合召回、调 ANN
召回了但排名靠后	融合/重排	RRF、Cross-Encoder、领域 hard negatives
证据正确但模型答错	上下文/提示词/模型	减少噪声、调整排序、约束生成、换模型
答案正确但引用错	引用生成	句子级 claim-evidence 校验
回答旧版本	更新链路	版本、时间过滤、删除旧块、清缓存
跨租户泄漏	权限模型	检索前 ACL 过滤、命名空间、审计

排障原则：先看语料与解析，再看 Recall，之后看 Rerank/Context，最后才换大模型。

相关笔记

• RAG工程全流程 — 评测对象所在的完整链路
• RAG准确率优化-从60到85 — 检索与生成分层定位案例
• 智能体评测
• RAG 专题导航