/experiment-analysis

name: experiment-analysis
description: 设计和审查随机实验、分流质量、指标与效果解释 experiment analysis A/B testing randomization SRM

实验设计与结果分析

在讨论效果之前核对实验分配、观测单位和数据质量，以可复核的指标与不确定性支持决策。

开始前

• `design`：问题、假设、分配单位、目标人群、分流、期间和预先决策规则 缺失时：缺随机设计只做有范围的描述分析
• `observations`：按正确单位的分组样本、事件、缺失和曝光记录 缺失时：缺计数或分组无法给精确效果
• `metrics`：主要指标、护栏、分母、窗口、实际意义和多重检验计划 缺失时：先定义指标，不挑最好看的结果

执行

1. 阅读 [工作方法](references/professional-method.md)，先确定适用条件与证据范围。 2. 沿 [专业方法](method.json) 的 `steps` 执行具体操作，再用 [完整交付模板](references/delivery-template.md) 整理当前产物；诊断问题与空字段不能充当完成。 3. 按 [专业质量规则](method.json) 中的具体输出规则选择检查方法，保存本次输入/产物定位及未观察项。 4. 对照 [作者正反例](evals/professional-cases.json) 检查常见专业错误；作者预期不算本次评测结果。 5. 把规则结果、实际产物、未决问题交回调用方；缺口仅影响相关结论。

交付

• `designReview`：可检验假设和识别边界。
• `integrityReview`：分流与数据可信度检查。
• `effectEstimate`：绝对/相对效果及不确定性。
• `decision`：效果、护栏与下一步。
• `facts`：当前输入、来源、期间单位及证据缺口。
• `limitations`：未执行、未观察、方法假设和外推边界。
• `handoff`：当前产物、规则结果、证据定位与待解决事项交调用方。

关键验收条件

• `designReview`：写分配/分析单位、目标效果、干预与窗口；声明是否支持因果。 拒收：观察性分组、单位不独立或跨组污染被隐藏。
• `integrityReview`：核预期分流、实际入组/曝光、缺失、重复和SRM线索，失败时限制效果结论。 拒收：分流异常未解释仍挑显著结果，或删除坏组掩盖异常。
• `effectEstimate`：按声明分母重算各组指标、差值、相对变化，区间方法与适用前提可追溯。 拒收：百分点与百分比混淆、零基线照算相对提升，或没计算声称显著。
• `decision`：综合事前主要指标、实际意义、护栏、观察期与多重比较，列可支持和不可支持决定。 拒收：只靠p值或挑次要指标忽略负面护栏，或随时窥视后当固定样本检验。

全部检查方法、证据要求和阻断标记以 [method.json](method.json) 为准。规则未执行时记录未观察；教学案例不是已经完成的专业评测。

边界

不将观察相关性包装成随机实验，不在无数据时给统计显著或业务收益保证。

高风险业务变更、患者/学生干预或实质性个人权益影响需相应责任人批准实验与行动。

只读本次指定材料；实际联网、命令、发布、业务变更或外部消息依当前宿主授权。方法不接管跨组件调度、持久记忆或最终验收。合同和示例检查不证明真实宿主或行业效果；无执行证据保留 needs_probe / not_evaluated。