Paper Review: What does the model actually see? Evaluation protocols and input availability in data-driven prediction of room acoustic parameters

论文类型: 分析型（兼问题定义型）

本文定义了一个评估协议分类体系（split design × input availability 的 2×4 grid），并通过控制性因子消融实验在两个厅堂上量化了协议选择对报告精度的影响。核心贡献是揭示了一个领域内广泛存在的评估错误模式，而非提出新模型或新数据。按分析型论文的尺子审查。

公理审查结果

公理一：对象公理

• 判定: ✅
• 依据: 论文研究的对象——数据驱动房间声学参数预测中评估协议对报告精度的决定性作用——是一个真实、清晰、独立存在的问题。作者精确地操作化定义了两个轴：(1) split design（row-based vs grouped-by-position），(2) input availability（I1–I4 四类），并给出了 Table 1 的协议网格，每个格子对应一个明确的科学问题。对象不是模糊概念：condition interpolation 与 spatial prediction 的区分有明确的可操作定义（同一 position 是否出现在 train 和 test 两端）。问题在当前文献中广泛存在：作者引用了自身先前工作 [15] 中 R² > 0.85 的报告，并指出这类数字在 row-based + measured-at-test inputs 下是可复现的构造性结果。ISO 3382-1 参数预测是一个有实际测量成本背景的真实工程问题。对象外延与实验范围一致：两个对比设计的厅堂（180 座鞋盒式音乐厅 + 264 座阶梯式会议厅），11 个参数 × 6 个频带，三个模型族，涵盖了论文 claim 的范围。作者在 Section 5.4 中明确承认了单 campaign 的局限并指出待复现方向。
• Wiki 证据: OMC Wiki 无记录。paper-wiki 无记录。free-search 找到 Kapoor & Narayanan (2023, Patterns) 对 17 个领域 294 篇论文的数据泄露审计——本文的核心先验正是这一更广泛的 ML 方法学问题在房间声学领域的具体化，引用为 [18]，事实锚点确认。free-search 同时确认房间声学 RIR 预测的近期 SOTA（DiffusionRIR, RIR-Former, NAMS, NeRAF, TA-RIR）聚焦于 RIR 合成/插值，而非 ISO 3382-1 参数预测的空间泛化，因此本文的评估协议批评针对的是一个未被系统审视的细分问题，对象真实且必要。

公理二：识别公理

• 判定: ✅
• 依据: 论文的识别设计是本文最强的方面之一。作者通过 2×3 因子消融（split design × feature availability）隔离了两个协议变量的独立贡献：Table 2 显示，对 clarity/temporal 参数，feature availability 是主导项（C80: row→grouped 在 FULL 下仅从 0.879→0.862，而 grouped 下 FULL→GEO-ENV 从 0.862→0.134），而对 sound strength，split design 是主导项（FULL: 0.850→0.597，GEO-ENV 仅 0.835→0.571）。作者进一步通过 K1/K2/K2n/K3 四条件实验分离了 privileged information 的因果效应：K2（训练时 signal + modality dropout，推理时仅 geometry）与 K1（仅 geometry）无差异，证明 training-time signal access 无增益；K3（test-time signal）在小 position 数厅堂中反而下降 0.23，识别出 position fingerprint 机制而非可迁移声学信息。最简 baseline（nearest neighbour, inverse-distance weighting）在所有协议下与学习模型同分对比，Section 4.4 报告了跨模型 spread（~0.1）比跨协议 spread（up to 0.75）小一个数量级——这是”协议而非模型是报告数字的一阶决定因素”这一 claim 的直接因果证据。没有同时改变 architecture/data/training 并归因于单点的问题。
• Wiki 证据: OMC Wiki 无记录。paper-wiki 无记录。free-search 确认 grouped CV 和 data leakage 隔离方法在 ML 方论文献中是成熟范式（Roberts et al. 2017 Ecography [17], Kaufman et al. 2012 [16], Kapoor & Narayanan 2023 [18]），本文将这些方法正确迁移到房间声学领域并做了领域特定的因果分解。未发现已有工作做过同等粒度的协议×特征因子消融。

公理三：独立性公理

• 判定: ✅
• 依据: 本文的证据结构在认识论上是干净的。训练、验证和评测使用同一 campaign 的不同 fold，但 grouped splits 保证了 test position 在训练中从未出现。评测指标（R² over held-out positions）不依赖任何与训练目标重叠的 reward。数据来自物理测量（swept-sine excitation + Schroeder backward integration），非 synthetic pipeline，无需人类校验锚点。关键诊断实验 K3（test-time IR access）的设计恰好测试了”signal 是否为 position fingerprint”这一独立性假设：如果 signal 携带可迁移声学信息，K3 应在 grouped splits 下仍有增益；实测 K3 在 10-position 厅堂下降至 -0.06，证明 signal 在小样本下被用作 position 标识符而非声学信息——这是一个独立于训练过程的诊断结论。作者对自身先前工作 [15] 的协议同样纳入批评（”We include our own previous protocols in this observation”），避免了 self-serving bias。专利利益冲突已声明（TR 2026/001430, TR 2026/001431），但分析结论实际上削弱了专利系统的高精度 claim，因此利益冲突方向是保守的而非夸大的。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 Kapoor & Narayanan (2023) 的泄露分类体系与本文的 I1–I4 分类在逻辑上一致：I1/I2 对应 “feature leakage via target-derived quantities”，I3 对应 “identifier leakage”，row-based splits 对应 “group leakage”。本文的独立性设计符合 ML 方文学的最佳实践。

公理四：压缩公理

• 判定: ✅
• 依据: 论文的核心压缩价值体现在将一个看似复杂的评估问题压缩为一个 2×4 的协议网格（Table 1），其中仅一个格子（grouped × I4）回答了 sparse-measurement 文献实际声称的问题。这一重构使得先前文献中散乱的协议选择可以被统一分类和比较。四类 input availability（I1–I4）的定义简洁且互斥，每一类有明确的 deployment 可用性判据。条件插值 vs 空间预测的二分法用一个结构观察（每个 position 产生多行）解释了大量文献中高 R² 数字的来源。reporting checklist（Section 6, 6 条）是经验压缩的高密度输出。没有命名膨胀：所有概念（condition interpolation, spatial prediction, position fingerprint, deployment-consistent, privileged mode）都对应明确的实验操作，不是装饰性术语。hybrid CNN 架构本身不是 novelty claim 的核心——它是被审计的对象之一，而非贡献本身。没有不必要的模块堆叠。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 Vapnik & Vashist (2009) 的 LUPI 范式被正确引用为 privileged mode 的理论来源 [22]，未重新命名。协议网格的分类逻辑与 Roberts et al. (2017) 的空间 CV 分类一脉相承但做了领域特定扩展，属于合理的经验压缩而非换名。

公理五：效用公理

• 判定: ⚠️

• 依据: 效用评估需区分两类 claim：(A) 协议批评的效用，(B) deployment-consistent 协议下模型的实用效用。

  (A) 协议批评的效用：强。Table 2 的因子消融直接量化了协议选择导致的 R² 差异（C80: 0.879→0.134, D50: 0.804→0.160, EDT: 0.779→0.091），效应量大且跨参数一致。cross-model spread（~0.1）vs cross-protocol spread（up to 0.75）的对比是一个可靠的、可迁移的经验规律。reporting checklist 有直接的操作价值。

  (B) deployment-consistent 协议下的模型效用：弱，但作者诚实报告。honest cell 下 G 的 R² = 0.57、T30 = 0.26、clarity 类 0.09–0.22，绝对水平低。inverse-distance weighting 在 clarity 类上匹配或超过学习模型。仅 sound strength 和 T30 显示了学习模型的 genuine advantage。density 实验显示 clarity 类在任何密度下都不可用（最佳 0.31 at n=60 for Ts）。这意味着在 deployment-consistent 协议下，现有模型对 6 个核心参数中的 4 个几乎无实用价值。作者明确承认 “no density of the kind studied here substitutes for direct measurement” 并将此定性为 representational limit 而非 task verdict。

  扣分原因：证据基础限于两个厅堂、单 campaign。作者自身在 Section 5.4 承认 “effect sizes are venue-specific and await cross-venue replication”。ten-position 厅堂的 fold variance 极大（std 0.03–1.3），使得该厅堂的部分定量结论不可靠。虽然作者将此不确定性本身视为 finding（”below some position count, spatial-prediction claims cannot be evaluated meaningfully at all”），但这限制了结论的可迁移性。两个厅堂不足以支撑强外推 claim。绝对指标在 honest 协议下大多低于工程可用阈值，虽然这是诚实的报告但限制了论文对 “模型是否真正有用” 这一问题的正面回答。

• Wiki 证据: OMC Wiki 无记录。paper-wiki 无记录。free-search 确认近期房间声学 SOTA（Bakos et al. 2025 transformers, Yu & Kleijn 2021 DNN from RIR）均在 row-based 或 RIR-input 设置下报告高精度，缺乏 grouped-position 评估的同行工作，因此本文的 “honest 协议下精度大幅下降” 结论尚无独立第三方验证。建议作者在第三个厅堂 [19] 上完成预注册的 replication 以提升效用 claim 的可信度。

公理六：新颖性公理

• 判定: ✅

• 依据: 新颖性是真实的领域增量，非换名或拼装。具体而言：

  (1) 协议分类体系：将 ML 方法学中已有的 grouped CV 和 data leakage 概念系统化迁移到房间声学领域，并做了领域特定扩展——I1–I4 四类 input availability 分类基于 “omnidirectional 参数均来自同一 impulse response” 这一领域结构事实，这是非平凡的领域 reframing 而非简单迁移。Table 1 的协议网格在房间声学文献中是新的。

  (2) Position fingerprint 发现：K3 在 75-position 厅堂增益 +0.11 但在 10-position 厅堂下降 -0.23 的 sign reversal 是一个反直觉的经验发现，且作者给出了合理的机制解释（few positions → spectral branch learns position identity而非 transferable acoustics）。这一发现是新的。

  (3) Privileged information 的 null result：K2 vs K1 的零增益在两个厅堂上一致，这是一个有价值的负面结果，且首次在房间声学 LUPI 设置下报告。

  (4) Density curves under deployment-consistent protocol：将 companion study [15] 的 density 分析在 honest 协议下重新推导，per-parameter class 的 guidance（G sparsity-robust, T30 scales with density, clarity requires measurement）是新的操作结论。

  不构成严重新颖性缺陷的问题：companion study [15] 共享数据和 RF pipeline，但本文的分析框架和结论是独立的。LUPI 概念本身非新（Vapnik 2009 [22]），但其在房间声学中的 null result 是新贡献。grouped CV 在 ML 方法学中非新，但在房间声学文献中的系统应用是新的。

• Wiki 证据: OMC Wiki 无记录。paper-wiki 无记录。free-search 确认：(a) 房间声学 RIR 预测的近期工作（DiffusionRIR, RIR-Former, NAMS, NeRAF, TA-RIR, 2024–2025）聚焦于 RIR 合成而非 ISO 3382-1 参数预测的协议审计；(b) 盲估计工作（ACE Challenge, BERP, SS-BRPE）属于不同问题域，作者正确地将其排除在 scope 之外；(c) ML 方文中的 grouped CV 和 data leakage 审计（Kapoor & Narayanan 2023）未被任何房间声学论文系统应用。因此本文的领域迁移和系统化分析是真实的 novelty increment。

公理七：可复现公理

• 判定: ⚠️

• 依据: 部分可复现，有明确缺口。

  正面：作者承诺 “evaluation scripts, split definitions, random seeds, and per-fold results” 将在 acceptance 后公开，review 期间可从作者获取。三个模型族中两个（RF 和 spatial baselines）是标准实现，hybrid CNN 架构在 Figure 1 中描述充分（22 几何特征, 128 mel bands × 257 frames, learnable weighted sum fusion, modality dropout p=0.5）。数据采集协议（swept-sine, ISO 3382-1, ten temperature conditions, occupancy 0–100%）在 Section 2 中描述详细。measurement data quality 已通过独立审计框架 [19] 筛查。

  缺口：(1) 数据本身 “available from the author upon reasonable request”——非完全开源，依赖作者个人响应，存在单点失败风险。(2) 混合 CNN 的训练超参数（学习率, batch size, epochs, optimizer, early stopping criteria）未在正文中报告，仅在 Figure 1 中给出架构。fold-to-fold 标准差 “released with the evaluation code” 但未在论文中完整给出。(3) 两个厅堂的完整 measurement data（IR 和参数表）是否可在独立审计下公开尚不明确。(4) Companion study [15] under review，其数据与本文共享但尚未公开。(5) 专利相关的 switchable-inference 架构 (TR 2026/001430) 的实现细节是否完全在论文中披露存在不确定性。

  这些缺口不直接否定结论——核心协议批评的逻辑不依赖训练超参数的精确值（RF 和 IDW 的结果足以支撑主结论）——但限制了独立验证网络相关结果（Table 3, Figure 3）的能力。

• Wiki 证据: OMC Wiki 无记录。free-search 确认 Kapoor & Narayanan (2023) 将 “code/data unavailability” 列为加剧泄露问题的复现障碍。本文的代码承诺符合社区最低标准但未超越（如预注册、live repository）。

日报摘要

• Strength: 通过 2×3 因子协议消融在两个厅堂上量化了协议选择对 R² 的决定性影响（跨协议 spread up to 0.75 vs 跨模型 spread ~0.1），并实验识别了 hybrid CNN 的 position fingerprint 机制（K3 sign reversal: +0.11 at 75 positions vs −0.23 at 10 positions）。
• Weakness: 证据基础限于两个厅堂单 campaign，honest 协议下 6 个核心参数中 4 个 R² < 0.25 且低于最简空间插值，数据非完全开源，混合 CNN 训练超参数未报告。

总评

• 科学价值: 中 — 发现可靠（因子消融设计严格）、解释可迁移（协议网格 + position fingerprint 机制），但单 campaign 两个厅堂限制了结论的跨场地可推广性。
• 方法价值: 高 — 协议分类体系和 reporting checklist 对领域有直接的方法学规范价值，null result 和 fingerprint 发现为后续工作提供了明确的实验设计指南。
• 社区价值: 高 — 房间声学 ML 领域缺乏系统的评估协议审计，本文填补了这一空白且结论操作性强（6 条 checklist 可直接采纳）。对 companion study [15] 和专利系统的自我批评增强了社区信任。

打分

加权总分: 7.7/10（加权分之和 73.5 / 权重之和 9.5） 最终建议: Weak Accept (6.5-8)

核心理由: 论文在识别公理和独立性公理上表现突出——因子消融设计干净、因果归因明确、自我批评诚实。协议网格和 position fingerprint 发现是真实的领域增量，reporting checklist 有直接操作价值。主要扣分来自效用公理（单 campaign、honest 协议下多数参数不可用）和可复现公理（数据非完全开源、CNN 超参数未报告）。建议接收的条件是：(1) 补充第三个厅堂的 grouped-position replication（作者已在 [19] 中预注册）；(2) 论文发表时同步公开代码、splits、seeds 和 per-fold results；(3) 补充 hybrid CNN 的训练超参数表。