/retrieval-evaluation

name: retrieval-evaluation
description: 检索质量评估（retrieval evaluation RAG recall precision MRR）。用独立标注和固定语料判断检索是否找到了相关材料，区分召回、排序与答案质量。用于RAG回答不好，先查检索。;比较两个检索器或切块方案。;给企业搜索建立评价集。

检索质量评估

用独立标注和固定语料判断检索是否找到了相关材料，区分召回、排序与答案质量。

输入与开始方式

• `dataset`：问题、相关文档ID、标注规则与留出划分。无标注先建设小型分层评价集。
• `runs`：相同语料版本下各查询返回的有序ID与分数。缺完整运行记录先按现有样本诊断。
• `policy`：k值、过滤权限、空结果处理及统计口径。先声明指标定义；无相关项单列不可计算。

缺少非关键资料时，先给明确假设下的草案或局部结果；资料补齐后只重验受影响部分。授权已覆盖的可逆工作继续，不重复确认。

执行

1. 固定问题、语料、权限范围和相关性定义，检查重复或泄漏标签。 核语料、用户身份与策略版本；来源更新/撤回涉及派生知识时，记录模型实际看到的材料，按需把生命周期审查交 `knowledge-architecture-evaluation`。 2. 按相同k取得各版本有序结果，记录无结果和异常。 3. 逐题去重计算命中、召回及首个相关位置，再按约定聚合。 4. 分语言/任务/难度比较结果，回读失败文档定位原因。 5. 选择一个最可能原因做下一次试验，保持独立留出集不参与调参。

按需要读 [专业方法](references/professional-method.md) 和 [完整案例](references/delivery-template.md)。

交付

• `metrics`：召回与排序指标。
• `slices`：分层和回归结果。
• `diagnosis`：错误归因。
• `nextExperiment`：下次试验。
• `lifecycleFindings` / `evaluationBoundary`：适用时记录更新、撤回、权限、派生缓存和真实/合成观察边界；检索 ID 算分不能证明这些操作已执行。

检查结果

• 明确P@k/Recall@k/MRR定义，去重文档并保留空结果和无标签情况。
• 按问题类别、语言和权限比较同题版本，报告分子分母。
• 区分缺文档、过滤、召回、排序和标注错误，回读原文。
• 每次改变可解释因素，保留基线和独立留出题。

检查方法和证据要求在 [method.json](method.json)；参考 [作者正反例](evals/professional-cases.json) 识别实际错误。

需要额外处理的动作

使用真实敏感语料或新增模型评分费用依当前授权；离线ID评分和标签审查可继续。