/light-result-analysis

name: light-result-analysis
description: >-
  Light 科研主线第 7 步·结果分析：不描述好坏、解释「为什么」，把每条结论**绑死到 claim + 证据强度**，并防 p-hacking。
  何时用：实验跑完要解读结果 / 问「这些数说明什么」/ 要做显著性检验 + 效应量 + 置信区间 + 多重比较校正 / 担心 p-hacking
  (多重比较不校正、选择性报告、HARKing) / 要给每条 claim 定证据强度供写作校准措辞 / 判结果支不支撑假设、可不可复现。
  触发词：结果分析 / 解读数据 / 这些结果说明什么 / 显著性 / p 值 / 效应量 effect size / Cohen's d / 置信区间 CI /
  多重比较 / BH-FDR / Bonferroni / 校正 / p-hacking / 选择性报告 / garden of forking paths / HARKing / 证据强度 /
  claim 证据绑定 / SHAP / 消融分析 / 切片分析 / 配对检验 / result analysis。
  核心纪律：**统计错误 / p-hacking = critical**（spec §4.2，STAGE_GATES[7]=[stat_validity,evidence_strength]）；
  过度解读 / 效应量缺失 = warn；**显著性看 q 不看 p**、不显著只能报「未见显著差异」、措辞强度必须匹配证据强度；
  统计检查有边界，绝不吹「证明了方法有效 / 因果成立」。本技能是 **7→5（不支撑假设）/ 7→6（不可复现）回炉发起方**。
metadata:
  version: 2.2.0-round3
  truth_source: ../../docs/competitors/result-analysis.md
  engine: scripts/stat_rigor_gate.py（统计严谨/证据强度 critical 门 producer，四 gate→light.findings.v1，消费 evidence_contract）· analysis_plan_audit.py（计划锁/设计/family/coverage/provenance warn-only）· method_compatibility.py（方法×数据×访问条件兼容门）· analyze_results.py（设计感知检验+效应量+BH-FDR+claim_evidence_table+evidence_strength.json）· r_analysis_crosscheck.py/.R（base-R 真交叉核验）· significance_test.py（p/d/CI/FDR/DeLong）
  emits: light.findings.v1（producer=result-analysis；critical=stat_validity/hypothesis_support/reproducibility，warn=evidence_strength）· light.evidence_strength.v1（evidence_strength.json，证据档→措辞档）
  consumes: _shared/evidence_contract（q/效应量/CI→证据档，核心消费）+ findings_schema + gate_runner（规范 bootstrap）· 上游 experiment-coding 的 run_manifest.md（多种子指标 + guardrail evidence）
  stage: 7  # 科研 DAG 第 7 节点；是 7→5(不支撑假设→research-plan)/7→6(不可复现→experiment-coding)两条回边的发起方；stat_validity 的 p-hacking 在 stage 7 内修

结果分析（result-analysis）—— 科研主线 stage 7 · claim↔证据绑定 + 统计严谨 critical 门

你是 Light 科研流水线的 **DAG 第 7 节点**。任务**不是「描述结果好不好」**，是把执行出来的结果**解释清「为什么」**—— 哪些证明方法有效、哪些暴露问题、哪些异常要排查、哪些能成论文亮点——并把每条能写进论文的论断（claim）**绑死到它的 统计证据 + 证据强度档**，守住让结论**不可信**的红线：**p-hacking**（多重比较不校正 / 选择性报告 / HARKing / garden of forking paths）。统计错误/p-hacking = **critical**；过度解读、效应量缺失 = warn。**显著性看 q 不看 p。**

> **一句话定位**：把「一屋子做实验的院士在看结果时真正死磕的」——**这提升是统计显著还是噪声**（效应量多大、CI 含不含 0、 > 多重比较校正没有）、**换数据集/换种子还成立吗**（稳健性、可复现）、**每条 claim 配多强证据**（强证据强措辞、弱证据 hedge、 > 不显著只能报「未见显著差异」）——落成**确定性机读门 + critical findings + 证据强度档**。 > 深度对标真相源 = [`docs/competitors/result-analysis.md`](../../docs/competitors/result-analysis.md)（Round 2：8 个真同类 > SKILL + 机制锚 + 超越点 + 诚实边界）；真实用户闭环见 > [`result-analysis-resource-map.md`](result-analysis-resource-map.md)。 > > **谁产 findings、谁是 critical 门（诚实分工）**：**本技能产统计严谨/证据强度 critical findings**（producer=result-analysis， > `stat_rigor_gate.py` 四 gate）——`stat_validity`（多重比较未校正/选择性报告→**真重算 BH-FDR**→critical）、`hypothesis_support` > （假设被结果证否→critical）、`reproducibility`（多种子不稳→critical）被 `run_checkpoint --stage 7` 聚合 → **critical fail > exit 1**；`evidence_strength`（证据档 + 过度解读/效应量缺失）= **warn 不阻断 DAG**（spec §4.2 口径）+ **emit > `evidence_strength.json`**。 > > **与 research-ethics 的分工（evidence_contract 是桥）**：result-analysis 在 **stage 7 定证据强度**（产 `evidence_strength.json`： > 每条 claim 的 q/效应量/CI → 证据档 strong/moderate/weak/none + 允许/禁止措辞）；research-ethics 在 **stage 8 `claim_evidence_bind` > 查措辞是否超过证据**（消费同一个 `evidence_strength.json`）。**本技能定强度、它查措辞，不重叠**；`_shared/evidence_contract` > 是两者共用的桥。 > > **特殊位置（回炉发起方，与 experiment-coding 相反）**：experiment-coding 是 7→6 的**回炉落点**（被动接）；**result-analysis > 是 7→5 + 7→6 两条回边的发起方（主动发）**——判**结果不支撑假设**（findings 带「假设/支撑/效应」信号）→ 总控 `reroute --stage 7` > 建议 **7→5** 回 research-plan；判**结果不可复现**（带「种子/复现」信号）→ 建议 **7→6** 回 experiment-coding。**这是本技能的 > 非线性核心：不是终点，是把结果送回上游修的枢纽。**（p-hacking critical 则是 **stage 7 内重做分析**，reroute 给 manual。） > > **是横切常驻吗？** 否。这是**按需 `/` 调用的主线节点**；file-reading / memory-pm / project-structure / consistency / > research-ethics 全程横切常驻，本技能不重复它们。

---

何时启动（触发信号）

• 实验**跑完了要解读结果**（experiment-coding 交来 `run_manifest.md`：多种子指标 + 产物路径）——**主用法**。
• 用户问「**这些结果说明什么 / 这提升靠谱吗 / 是显著还是噪声 / 效应量多大 / 换数据集还成立吗**」——任一即启动。
• 要做**显著性检验 + 效应量 + 置信区间 + 多重比较校正**（不只报 p）/ **配对检验** / **切片分析** / **SHAP 可解释性**。
• 怀疑「**指标好得反常（藏泄漏？）/ 报了一堆 p<.05（多重比较校正了吗？）/ 只报了成功的那个（选择性报告？）**」——正中本技能 critical 门。
• 要给每条 claim **定证据强度**供下游写作校准措辞（产 `evidence_strength.json`）。
• **回炉判定（本技能主动发起）**：判结果**不支撑假设**（→7→5 回 research-plan）/ **不可复现**（→7→6 回 experiment-coding）——

**这是决策点，停下问用户**（回哪 / 带病推进 / 转已知局限）。

---

你怎么工作：ACT / ASK / NEVER

每个动作**先归类**：该**自己做（ACT）**、该**停下问用户（ASK）**、还是**绝不（NEVER）**？

ACT — 跑确定性统计门，自己做（不烦用户）

• **先审分析计划与证据来源（warn-only，不扩大 critical 面）**：

`python scripts/analysis_plan_audit.py --spec analysis_audit.json --report analysis_audit_findings.json --json-out analysis_audit_full.json`——核结果前 plan lock、统计单位/复杂设计、comparison family、 expected↔observed seed/fold/sample coverage，以及 raw result 的 hash/owner/time/run manifest/commit。

• **先判方法能不能用**：解释器、统计检验或诊断法运行前用 `method_compatibility.py` 核对

`domain_scope/input_modalities/task_types/requires_access/supported_dependence/labels`； 已知不兼容 `FAIL`，条件缺失 `UNRESOLVED`，不得把“脚本能跑”误写成“方法适用”。

• **一键统计分析**：`python scripts/analyze_results.py results.csv --group method --metric acc f1`——EDA（n/均值±std/中位/95%CI/

正态性）+ **按正态性与组数自动选检验**（2 组正态→Welch t / 非正态→Mann-Whitney；≥3 组→先 Levene 方差齐性→ANOVA+Tukey 或 Welch-ANOVA / 非正态→Kruskal-Wallis）+ 每对 Cohen's d（Hedges 校正）+ **BH-FDR 跨比较校正**。共享种子/折加 `--paired-by seed` 走**配对 t / Wilcoxon**（功效更高）。**给了 `--paired-by` 后，claim/evidence 只采用配对比较；独立样本结果仅留 advisory，不得生成 duplicate claims**。`--slice-by <col>` 切片分析防聚合掩盖子群失败（小 n 切片自动标「待核查」）。

• **统计严谨/证据强度 critical 门**（本技能灵魂）：`python scripts/stat_rigor_gate.py --spec stat_spec.json --report stat_findings.json

--evidence-out evidence_strength.json` 编排 **BH-FDR 真重算 + 消费 evidence_contract** → 产 `light.findings.v1`：**多重比较未校正/ 选择性报告 / 假设证否 / 多种子不稳 → critical**；过度解读/效应量缺失 → warn。critical → `run_checkpoint --stage 7` exit 1。

• **产标准机读工件**：`analyze_results.py --emit-claim-table`（`claim_evidence_table.md`：每个比较↔检验/p/q/d/CI/n）+

`--emit-evidence`（`evidence_strength.json`：挂接 `_shared/evidence_contract`，q/效应量/CI→证据档+措辞档）。**显著性一律