Paper Review: A Dual Evaluation for Music Transcription

论文类型: Benchmark 型 + 问题定义型

本文提出音频到乐谱转录 (audio-to-score transcription) 的二维评测框架（notation similarity + playback similarity），评测 25 个 AMT 系统，并通过 106 人听力研究验证 playback-side 指标。核心贡献是评测方法论和基准，而非单一新方法。同时纳入 Rubato 作为端到端 case study。

公理审查结果

公理一：对象公理

• 判定: ✅
• 依据: 论文研究的对象——audio-to-score AMT 系统的双重评测维度——是真实且必要的。notation similarity（乐谱可读性）和 playback similarity（音频还原度）确实是两个不同的工程目标，Figure 1 用具体例子（Candidate A vs B）清晰展示了两者矛盾。该问题在当前 AMT 社区广泛存在：现有评测大多只关注 frame-level/note-level IR 指标（precision/recall/F-measure），忽略最终乐谱的可读性和渲染音频的保真度。论文引用 Hu et al. (ISMIR 2024)、Ycart et al. (2020) 证明现有评测的不足。问题有清晰的操作化定义：notation side 用 OMR-NED（符号编辑距离），playback side 用多种 DSP/learned metric 对渲染音频比较。claim 外延（Western classical piano, 3-minute excerpts）与实验范围一致，§6 Limitations 明确承认局限。
• Wiki 证据: OMC Wiki 无相关记录。free-search 找到 Hu et al. (ISMIR 2024) “Towards Musically Informed Evaluation of Piano Transcription Models”（arXiv 2406.08454）和 Ycart et al. (2020) OpenReview “Musical Features for Automatic Music Transcription Evaluation”，均为本文直接引用的先前工作，确认该问题是 AMT 社区活跃的研究方向。ATEPP 数据集 (Zhang et al., 2022, ISMIR) 为真实钢琴录音集合。

公理二：识别公理

• 判定: ✅
• 依据: 论文的评测框架设计本身隔离了关键变量：24 个 pipeline 由 8×3 因子设计构成，可分别分析 audio-to-MIDI 模型和 MIDI-to-score converter 的贡献。§4.2.1 显示 converter 选择（M2ST vs MS vs M21）系统性地决定 notation-side 排名，§4.2.2 显示 MS 系统性地在 playback-side 取胜——这是清晰的因子分析。Rubato 作为 end-to-end 系统单独讨论，不与 modular pipeline 混合归因。没有同时改变 architecture/data/training 并归因于单点的问题。不过，论文未对 audio-to-MIDI 模型之间的 notation-side 差异做更深层因果分析（在 M21 下所有模型趋同），但这属于未来工作方向，不构成缺陷。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 8 个 audio-to-MIDI 模型（MT3, ISMIR 2021/2022, Basic Pitch, ByteDance, Transkun, Aria-AMT）和 3 个 converter（music21, MuseScore, MIDI2ScoreTransformer）均为独立发表的公开系统，覆盖了当前主要 SOTA。Hu et al. (2024) 的 mpteval 工具包提供了同类因子分析框架，本文在此基础上扩展到 notation+playback 双维度。

公理三：独立性公理

• 判定: ⚠️
• 依据: 主要评测链路独立性较强：(1) OMR-NED 来自 OMR 文献 (Martinez-Sevilla et al., 2025)，非本文训练或筛选；(2) DSP 指标 (DTW/TWED) 是确定性算法，无学习参数；(3) 人类 ABX 听力研究 (106 人, 3,180 判断) 独立于任何系统开发过程，IRB 审批 (UW STUDY00025192)，参与者不知晓系统身份。但有部分循环风险：(1) CLEWS 和 CLaMP 3 是外部预训练模型，但它们的训练数据可能包含 ATEPP 相关钢琴录音，论文未讨论此潜在污染；(2) AudioLM judge (Gemini 3.1 Pro) 是闭源模型，训练数据不透明；(3) Rubato 的作者 (Tamer, Ebert, Yang, Smith) 与本文作者重叠，Rubato 作为 case study 虽然用相同指标评测，但其纳入可能有自我偏好（尽管论文声明 Rubato 在听力研究完成后才发布，不参与人类评测）。这些是 major 但非 fatal 的独立性隐患。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 CLEWS (Sony, GitHub sony/clews) 是外部发布模型，CLaMP 3 (Wu et al., ACL 2025) 也是独立工作，降低了循环论证风险。但论文未讨论这些 learned embedding 模型的训练数据是否与 ATEPP 重叠。

公理四：压缩公理

• 判定: ✅
• 依据: 论文的核心压缩价值在于将 AMT 评测从一维（frame/note IR metrics）重构为二维（notation + playback），并发现一个反直觉且可迁移的经验规律：最优 playback 指标 CLEWS 恰好是最便宜的（Table 2: $0.37/1,000 units vs Gemini $5.10 vs Human $333.33），且 Spearman ρ=0.971 为最高。另一个压缩发现：MIDI-to-score converter 系统性地决定哪个维度被偏好——这不是模块堆砌而是对 pipeline 结构的洞察。论文没有发明新名词膨胀；”dual evaluation” 是准确的描述性命名。论文诚实地报告了多个指标的完整排名（Table 1, Supplementary Tables A.2-A.5），包括 DTW、TWED、CLaMP 3 等表现较弱的指标，未隐藏不利结果。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 “dual evaluation” 在 AMT 领域是全新提法——先前工作 (Ycart 2020, Hu 2024, Simonetta 2022) 均为单维度评测。OMR-NED 从 OMR 领域迁移到 AMT 评测是一个有解释力的跨领域迁移，论文 §2.1.1 清晰讨论了 MUSTER、MV2H 等替代指标并解释选择理由。

公理五：效用公理

• 判定: ✅
• 依据: 绝对指标： 最好的 modular pipeline (Tkun+M2ST) OMR-NED=86.61，Rubato 达到 72.30——这些数值在 OMR-NED 量表上（0=完美匹配）表明仍有显著改进空间，但论文诚实报告而非声称已解决。Playback side: 最好系统 CLEWS=0.84 (Aria+MS)，Rubato 排第六。相对提升： Rubato 在 notation side 超越所有 24 个 modular pipeline，同时在 playback side 排名第六（击败 19/24 modular pipeline 在两个维度上同时取胜），这是实质性的双维度改进。指标覆盖： 论文评测了 14 种 audio features × 2 种 alignment metrics (DTW/TWED) + 4 种 model-based evaluators (CLEWS, CLaMP 3, Gemini, human ABX)，覆盖面极广。Baseline 可靠性： 8 个 audio-to-MIDI 模型包括当前最强公开系统 (Aria-AMT, MT3, ISMIR 2021/2022, Transkun)，3 个 converter 包括工程工具 (MuseScore, music21) 和学习型转换器 (M2ST)。Trade-off 诚实性： Figure 2 和 §4.1 清晰展示 notation-playback 矛盾，§5 Discussion 给出实用推荐（CLEWS for playback, OMR-NED for notation, TWED/DTW as model-free alternatives）。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 Aria-AMT (Bradshaw et al., 2024, EleutherAI)、MT3 (Gardner et al., 2022, ICLR)、Transkun (Yan & Duan, 2024, ISMIR) 均为当前 SOTA 或近 SOTA 系统。Hu et al. (ISMIR 2024) 的 mpteval 是最近的同类评测工作，本文在此基础上增加了 notation 维度和更大规模的人类验证 (106 vs 少量)。

公理六：新颖性公理

• 判定: ⚠️
• 依据: 核心创新——将 AMT 评测分为 notation + playback 双维度——是一个真实的问题重构，非本领域已有方法的换名。先前工作 (Ycart 2020, Simonetta 2022, Hu 2024) 均只关注 playback/MIDI 层面评测，未提出 notation-playback 对偶框架。OMR-NED 从 OMR 迁移到 AMT 是合理的跨领域迁移，且论文 §2.1.1 证明了迁移的必要性（MUSTER subscores 无法一致解释）。但扣分点在于： (1) 论文本身不提出新方法，而是组合已有指标 (OMR-NED, DTW, TWED, CLEWS, CLaMP 3, AudioLM) 进行 benchmark 评测——每个指标都是外部已有工作；(2) Rubato (Tamer et al., 2026, arXiv 2605.24291) 是作者团队的同期工作，作为 case study 纳入，但 Rubato 本身是独立论文，本文未对 Rubato 做设计贡献；(3) 24-pipeline 因子设计虽然全面，但本质是工程评测组合，非新机制。novelty 真实但增量性中等。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 Rubato (arXiv 2605.24291, 2026-05-22) 与本文 (2026-08-05) 发表时间差 <3 个月，可视为 concurrent work，不作为强扣分依据。但作者重叠（Tamer, Ebert, Yang, Smith 同时出现在两篇论文）意味着 Rubato case study 部分并非独立外部验证。CLEWS (Serrà et al., 2025)、CLaMP 3 (Wu et al., 2025)、OMR-NED (Martinez-Sevilla et al., 2025) 均为 2025 年发表的外部工作，本文是首个将它们统一在 AMT 双维度评测框架中的工作。

公理七：可复现公理

• 判定: ✅
• 依据: 论文在 “Reproducibility” 节明确声明：评测代码、去标识化人类 ABX 响应数据、per-system scores 在 https://github.com/pingw220/AMT-Dual-Eval 以 MIT License 发布，数据表以 CC BY 4.0 发布。数据集 ATEPP (Zhang et al., 2022) 公开可用。所有 8 个 audio-to-MIDI 模型和 3 个 converter 均为公开系统，有明确引用。评测指标 (OMR-NED, DTW, TWED, CLEWS, CLaMP 3) 均有公开实现。人类听力研究有 IRB 协议编号 (STUDY00025192) 和完整方法论描述（ABX 格式、Bradley-Terry 聚合、参与者统计）。限制： 渲染音频、MusicXML/MIDI 输出和第三方模型输出因版权未发布；Gemini AudioLM judge 依赖闭源 API（但论文已指出 AudioLM 不推荐作为首选评测器）。这些限制不严重影响核心结论的可复现性。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 GitHub 仓库 sony/clews (CLEWS 代码) 和 CPJKU/mpteval (Hu et al. 2024 评测工具) 均公开可访问，支持论文使用的指标可复现性。

总评

• 科学价值: 高 — 首次将 AMT 评测形式化为 notation-playback 双维度问题，通过 106 人听力研究验证了 7 类 playback 指标与人类感知的相关性，发现 CLEWS 兼具最高相关性和最低成本是一个有实用价值的可靠经验规律。
• 方法价值: 中 — 评测框架本身是已有指标的系统性组合，非新方法设计。因子设计 (8×3) 和 Bradley-Terry 聚合是标准方法的应用。但双维度问题重构有方法论贡献。
• 社区价值: 高 — 为 AMT 社区提供了可操作的评测协议推荐（OMR-NED + CLEWS），开源代码和数据，覆盖当前最强 25 个系统。这将成为后续 AMT 研究的评测基础设施。

日报摘要

• Strength: 通过 106 人 ABX 听力研究验证 7 类 playback 指标，发现 CLEWS 同时达到最高人类相关性 (Spearman ρ=0.971) 和最低成本 ($0.37/1,000 units)，并在 25 个 AMT 系统的 8×3 因子设计中揭示了 MIDI-to-score converter 系统性决定 notation vs playback 维度偏好。
• Weakness: 核心评测指标 (OMR-NED, DTW, TWED, CLEWS, CLaMP 3) 全部为外部已有工作，本文无新指标设计；Rubato case study 的作者与本文作者团队重叠，缺乏完全独立的外部端到端系统验证；未讨论 learned embedding 模型 (CLEWS/CLaMP 3) 训练数据与 ATEPP 的潜在重叠风险。

打分

加权总分: 7.58/10（加权分之和 72.0 / 权重之和 9.5） 最终建议: Weak Accept (6.5-8)