Paper Review: Integrating Contextual Embeddings into Evaluation of Expressive MIDI Piano Performances

论文类型: Benchmark 型（评测框架 + 分析）

本文提出 Pereval 评测库，包含 KMD/KPD 两个新分布距离指标和若干 per-sample 伪评分方法，并在听力实验中验证 SSL 嵌入与人类感知的对齐。核心交付物是评测工具与基准，判定为 benchmark 型。

公理审查结果

公理一：对象公理

• 判定: ⚠️
• 分数: 6
• 依据: 对象真实：expressive MIDI piano performance 的评测指标确实不成熟（属性级指标忽略 note 间依赖、需逐 note 对齐、难以聚合为标量，这在 RenCon 2025 与 Peter et al. 2023 中被反复指出）。问题定义清楚——条件分布相似度 + per-sample 质量双目标。但对象外延与实验范围不一致：claim 是“symbolic music domain”，实验仅覆盖西方古典钢琴独奏（ASAP+ATEPP+PDMX），未涉及其他乐器/流派；作者在 Ethics 中承认此局限，但正文 claim 未相应收敛。此外“perceptual proxy”概念被操作化为 Kendall τB 与 MOS 的相关性，定义可接受，但“perceptual”一词外延强于实际验证范围（23 人听力测试、29 曲、810 ratings，规模偏小）。
• Wiki 证据: OMC Wiki 无记录。paper-wiki 无符号音乐条目。free-search 确认 RenCon 2025 (arXiv:2605.02059) 复活评测竞赛，表明对象有社区价值；Peter et al. 2023 已指出 reconstruction error 局限，对象必要性成立。

公理二：识别公理

• 判定: ⚠️
• 分数: 5
• 依据: 存在最简 baseline（Pearson correlation、KL divergence、reconstruction error），且与 proposed metrics 公平比较，这是优点。但识别有缺口：(1) KMD/KPD 的提升来自 embedding quality 还是 MMD vs Fréchet 的统计性质？论文未做“同 embedding 下 FMD vs KMD”的受控消融——Figure 2/3 同时画 FMD 和 KMD 但未隔离 embedding 与 distance 的贡献。(2) Aria “benefit from post-processing (Mahalanobis/RMD)”的归因被假设为“训练用了增强视图导致辨别力下降”，这是未经验证的猜测。(3) CLaMP3 vs Aria 的差异可能来自训练数据规模/模态而非架构，论文未控制。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 KAD (arXiv:2502.15602) 已在音频域做 MMD vs FAD 的受控比较，本文将其迁移到符号域但未复现同等的变量隔离。

公理三：独立性公理

• 判定: ✅
• 分数: 8
• 依据: 评测对象（Aria/CLaMP3 嵌入）与被评模型（VirtuosoNet/M2M/PianoFlow）训练数据来源独立：ASAP/ATEPP/PDMX 是公开数据集，Aria/CLaMP3 预训练于各自语料。听力测试通过 PsyNet 采集 23 名独立参与者评分，与训练/筛选闭环不重叠。judge（SSL 模型）未被被评系统污染。唯一轻微重叠：PianoFlow 由作者团队在相同训练集上重训（Borovik 是 SyMuPe/PianoFlow 作者），但这是被评模型而非评测工具，不构成评测闭环。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 Aria (Bradshaw et al. ISMIR 2025) 与 CLaMP3 (Wu et al. ACL 2025) 均为独立第三方预训练模型，非作者自训。

公理四：压缩公理

• 判定: ⚠️
• 分数: 5
• 依据: KMD 本质是 KAD (Chung et al. 2025) 的符号域重命名：rescaled squared MMD + Gaussian kernel + median heuristic bandwidth——全部来自 KAD。KPD 是 KMD 的 per-score 平均（AMMD），是标准 MMD 文献中的已知变体（Huang et al. 2022, ref [27]）。Mahalanobis/RMD/Marginal Mahalanobis 全部来自 Lee et al. 2018 和 Ren et al. 2021。方法层无新机制，压缩价值主要在“迁移 + 整合到符号钢琴评测库”这一工程压缩。命名膨胀风险：“Kernel Music Distance” vs “Kernel Audio Distance”仅是域换名，“Kernel Performance Distance”实为 AMMD 换名。压缩价值的唯一真实增量是 Table 1 的属性维度对比框架和 Pereval 库的统一接口。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 KAD (arXiv:2502.15602) 定义了 rescaled squared MMD + median bandwidth；FMD (arXiv:2412.07948) 已先提出 Fréchet 距离用于符号音乐。本文 KMD 相对 KAD 无算法新意。

公理五：效用公理

• 判定: ⚠️
• 分数: 5
• 依据: (1) 绝对效用：per-sample Kendall τB 最高 0.51（RMD-Aria, naturalness），与 IOI correlation 0.48 同档，未见显著超越传统指标——claim “on par” 成立但“integrating contextual embeddings 带来评测进步”的证据弱。(2) 分布距离指标：Table 4 中 FMD/KMD/KPD 的 model 排序与人类排序一致（除 PianoFlow 变体），但 FMD_CLaMP3 已能做到同样排序，KMD/KPD 未显示独立优势。(3) 敏感性实验（Figure 3, Table 2）是效用亮点：contextual perturbation（velocity transfer）下传统指标失效而 KMD/KPD 响应，但仅 Aria 在 pause 实验中线性响应，CLaMP3 对短停顿不敏感——工具的可靠性不统一。(4) 听力测试规模 23 人/29 曲/810 ratings 偏小，置信区间宽（±0.10–0.16），0.44 vs 0.51 的差异在 CI 内不显著。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 RenCon 2025 已组织该任务的正式评测竞赛，存在社区基准；本文未与 RenCon 2025 提交系统对比，baseline 覆盖度不全。

公理六：新颖性公理

• 判定: ⚠️
• 分数: 4
• 依据: 核心 idea“用预训练 SSL 嵌入做音乐评测的 perceptual proxy”已被多条先前工作覆盖：(1) FMD (Retkowski et al. 2024) 已用 CLaMP2 嵌入 + Fréchet 距离评测符号音乐生成；(2) KAD (Chung et al. 2025) 已在音频域用 MMD + VGGish/PANN 嵌入；(3) arXiv:2601.19029（2026-01，先于本文 2026-07）已提议用预训练音频基础模型做钢琴表演评测——与本文 idea 高度重叠，且本文未引用该工作。真实增量仅是：(a) 首次在符号钢琴表演（而非生成）场景同时评测 Aria 和 CLaMP3；(b) KPD（AMMD）的 per-score 条件化；(c) Pereval 库整合。组件间无 synergy 证据——KMD 和 Mahalanobis 各自独立使用，未显示组合增益。
• Wiki 证据: OMC Wiki 无记录。free-search 确认上述三条先前工作均存在且未被本文引用 arXiv:2601.19029。考虑到 2601.19029 发表于 2026-01，与本文 2026-07 相差 6 个月，不属于 concurrent work（>2 月），构成真实 novelty 缺口。

公理七：可复现公理

• 判定: ✅
• 分数: 8
• 依据: Pereval 库开源 (github.com/realfolkcode/pereval)，数据集全部公开 (ASAP/ATEPP/PDMX, CC BY-NC-SA 4.0)，预训练 checkpoint 来自 VirtuosoNet/M2M/PianoFlow 公开仓库，PianoFlow 重训细节在 SyMuPe (arXiv:2511.03425) 中。听力测试通过 PsyNet 实现，参数披露充分（15s excerpt, 7-point Likert, 10 rounds, 23 participants）。不依赖闭源 API。唯一缺口：Aria/CLaMP3 的 embedding 提取 chunk 长度未明确给出，但模型本身开源可复现。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 Aria (openreview X5hrhgndxW) 和 CLaMP3 均开源，Pereval 仓库存在。

日报摘要

• Strength: 首次在符号钢琴表演评测中系统对比 Aria/CLaMP3 嵌入并提出 KPD（per-score 条件化 MMD），velocity-transfer 实验证明 contextual 嵌入能捕捉属性级指标遗漏的分布偏移，Pereval 库开源且数据/模型全公开。
• Weakness: 方法层为 KAD→符号域的换名迁移，per-sample 伪评分与人类 MOS 的 Kendall τB（0.44–0.51）未显著超越传统 IOI correlation，且未引用 arXiv:2601.19029 这一高度重叠的 6 个月前先前工作。

总评

• 科学价值: 中 — 识别出 contextual perturbation 下传统指标的盲区并给出可检测的替代方案，但因果识别（embedding quality vs distance 统计性质）未隔离。
• 方法价值: 低 — 无新算法机制，KMD/KPD 为已知 MMD 变体的域迁移换名。
• 社区价值: 中 — Pereval 库整合属性级与深度特征指标，RenCon 2025 复活表明社区有需求；但 baseline 未覆盖 RenCon 2025 提交系统。

打分

加权总分: 5.3/10（加权分之和 52.5 / 权重之和 9.5） 最终建议: Borderline 5-6.5