Phase 1 交付的诚实度量框架。18 项 KPI 覆盖 科学质量 · 产品体验 · 业务转化，每项都有明确 target、baseline、data_source 和 status。2 项 meeting / 16 项 unmeasurable —— unmeasurable 不是"没做"，是"需真实用户数据或前瞻实验"的显式边界标注。
单一真源 data/kpi_registry.json · Schema schemas/kpi_metric.schema.json · 构建 scripts/build_kpi_registry.py · 报告来源 docs/PROJECT_ELEVATION_REPORT_2026-10-26.md §7 · 上次更新 2026-10-26
报告 §7 的原话：「Replace scenario-count vanity metrics with measurable science/product/business KPIs.」过去"95 场景 / 91-3-1-0 判决 / 10 学科"是交付量指标，不是科学质量指标。KPI registry 强制每一项声明"当前是否可测量"—— unmeasurable 有 16 项不是失败，是让"当前可测"与"接入真实数据后可测"的边界显式化。
| KPI ID | 定义 / 公式 / 数据源 | Target | 当前值 | Status |
|---|---|---|---|---|
Science批次留出误差 kpi-sci-batch-holdout |
完全未见过的 batch_id 上的预先指定主指标。检验模型是否只对训练批次过拟合。
mean(|y_hat - y_true| / range(y)) over held-out batches阻断：至少一组 E2/E3 真实批次数据 + 预登记 batch_id split
|
≤ 5.0 % | — 待接入 | 🟡 Unmeasurable |
Science区间有效性 kpi-sci-interval-validity |
PICP/coverage 达预登记目标；宽度也须报告，避免 vacuous interval。
coverage = mean(y_true ∈ [q_lo, q_hi]); width = mean(q_hi - q_lo) / range(y)阻断：真实前瞻实验的覆盖率测量（合成场景已达 0.95，但非真实数据）
|
≥ 0.95 | 0.95（合成） | 🟡 Unmeasurable |
ScienceOOD 安全性 kpi-sci-ood-safety |
proximity() 过滤后 OOD 检出率与误拒率同时报告；selective risk 是拒答条件下的风险上界。
阻断：真实前瞻 OOD 套件 + 在分布集对偶标签
|
检出 ≥ 0.90 / 误拒 ≤ 0.05 | — 待接入 | 🟡 Unmeasurable |
Science建议兑现率 kpi-sci-fulfillment-rate |
真实实验完成后兑现的建议比例。诚实分母：排除未量化和等待执行的建议。
阻断：真实实验执行反馈（scripts/fulfillment_replay.py 已实现诚实分母口径）
|
≥ 0.40 | — 待接入 | 🟡 Unmeasurable |
Science信息增益 / 成本 kpi-sci-info-gain-cost |
Expected Improvement / 实验成本。主动学习每步的信息增益与实验花费之比。
阻断：真实实验成本数据（当前无成本标签）
|
越高越好 | — 待接入 | 🟡 Unmeasurable |
Science负对照识别 kpi-sci-negative-control |
零函数/常数函数等负对照在系统输出中应被识别为 REFUTED（不可用）。当前 fin_put_call_parity 已作 selftest。
阻断：需前瞻负对照套件（真实数据）验证
|
零假阳性 | 仅 selftest | 🟡 Unmeasurable |
Science外部复现 kpi-sci-external-reproduction |
第二后端/团队/设备对同一 manifest 的复现率。SLSA v1.2 provenance 已就绪，缺"另一后端"验证。
阻断：Phase 2 Second Backend 骨架 + 外部团队 pilot
|
≥ 0.85 | — 待接入 | 🟡 Unmeasurable |
Product干净安装成功率 kpi-prod-clean-install |
pip install 在干净虚拟环境中的成功率，跨 Python 版本 + OS。
阻断：需真实用户环境采样
|
≥ 0.99 | — 待接入 | 🟡 Unmeasurable |
Product首个 demo 完成时间 kpi-prod-first-demo-time |
从注册到看到第一个可解读输出的中位时间。Time-to-Value 主指标。
阻断：真实用户行为埋点
|
≤ 15 min | — 待接入 | 🟡 Unmeasurable |
Product首次真实数据接入时间 kpi-prod-first-real-data-time |
用户上传第一批真实数据并走完 batch 验证链路的中位时间。
阻断：真实数据 pilot（Phase 1 硬门槛，见 §11）
|
≤ 30 min | — 未启动 | 🟡 Unmeasurable |
Product任务成功率 kpi-prod-task-completion |
导入 → 验证 → 推荐 → 导出的端到端成功率，按用户 session 计数。
阻断：需真实用户 session 埋点
|
≥ 0.75 | — 待接入 | 🟡 Unmeasurable |
ProductManifest 复现率 kpi-prod-manifest-repro-rate |
同一 manifest 在同一环境二次执行的 bit-exact 复现率。RO-Crate + SLSA provenance 已实现。
阻断：需跨环境（不同机器、不同时间点）复现采样
|
1.00 | — 待接入 | 🟡 Unmeasurable |
Product公开事实漂移数 kpi-prod-fact-drift |
公开数字（95 场景 / 10 学科 / 115 engine modules 等）与 public_facts.json 声明不一致的数量。CI 门禁 scripts/check_public_numbers.py。
可测量：每次 CI run 都测。
|
= 0 | 0 | ✅ Meeting |
ProductSchema 失败数 kpi-prod-schema-failures |
JSON Schema 校验失败的字段数。KPI registry / status vocabulary / RO-Crate 元数据 / CycloneDX SBOM 均入 schema 校验。
可测量：每次 CI run 都测。
|
= 0 | 0 | ✅ Meeting |
Product科学结论谱系覆盖率 kpi-prod-provenance-coverage |
RO-Crate 1.1 PROV-O 元数据覆盖的科学结论数量 / 全部结论数量。目标 100%。
阻断：需真实结论清单 + RO-Crate 覆盖统计
|
≥ 0.95 | — 待接入 | 🟡 Unmeasurable |
Product人工接管率 kpi-prod-human-takeover-rate |
用户主动接管（人工审核 / 修改建议 / 覆写系统输出）的比例。
阻断：需真实用户行为埋点
|
≤ 0.15 | — 待接入 | 🟡 Unmeasurable |
Product单建议成本 kpi-prod-cost-per-recommendation |
单条有效实验建议的模型调用 / token / 计算成本（¥ / 建议）。经济学指标。
阻断：需真实 token 消耗计量 + 建议质量过滤
|
≤ 0.50 ¥ | — 待接入 | 🟡 Unmeasurable |
BusinessPilot 转化率 kpi-biz-pilot-conversion |
真实用户从试用到付费 pilot 的转化率。唯一业务 KPI。
阻断：需真实销售漏斗（Phase 1 不承诺）
|
≥ 0.10 | — 未启动 | 🟡 Unmeasurable |
KPI dashboard 不是空壳——每一项"可测量"背后都有具体代码资产。以下列出 23 PR 的核心交付，构成度量与治理基础。
18 项 KPI schema 化，target/baseline/status 三态强制标注，unmeasurable 显式化。
6 个受控状态码替代自由文本，前端 badge 渲染，同步守防止漂移。
baseline ladder 强制"先击败纯机理/纯数据基线"才可上线，对应 kpi-sci-batch-holdout。
coverage / width / OOD 检出 / 误拒率四指标，拒答条件即"边界标注"。
14 PROV-O 实体 + CycloneDX 1.5 SBOM，支撑 provenance-coverage KPI。
B1-B4 架构边界 + honesty-gate 挂载，schema-failures KPI = 0 由此保证。
fulfillment_replay.py 排除未量化与等待执行，对应 kpi-sci-fulfillment-rate。
REVOKE_KEY_MAP 分类撤销 data/model/proposal/report，支撑谱系覆盖率。
16 项 unmeasurable 中，kpi-prod-first-real-data-time 是 Phase 1 的完成判据。没有真实数据 pilot，只能称"格式兼容"，不能称"真实实验验证"。这是用户侧决策（选实验室 + 数据接入 + 前瞻实验）——AI 只能搭骨架，不能替用户拍板。