我已获取全文及研究背景。以下是我的结构化综述。

Paper Review: Do Text-to-Music Models Really Follow Instructions? A Counterfactual Evaluation of Key and Beat Grouping

论文类型: Benchmark型 + 分析型

该论文提出一个 matched counterfactual 评测框架，用于区分 text-to-music 模型的”目标出现率”与”指令可归因控制”，并应用于三个开放系统的 global key 和 beat grouping。核心贡献是评测方法论 + 经验发现，归为 benchmark 型（附带分析型特征）。

公理审查结果

公理一：对象公理

• 判定: ✅
• 依据: 论文指向一个真实且重要的问题：prompted attribute agreement（即”生成了目标属性 = 指令有效”）是当前 text-to-music 评测的主流范式（MusicBench、MusiConGen、FIGARO、TPSMG 均如此），但当目标在模型输出分布中本就高频时，agreement 无法区分”模型本就会产出”与”指令改变了产出”。这不是一个边缘问题——Stable Audio 3 的四拍中性产出率高达 0.969，直接证明问题的普遍性。问题定义清晰：occurrence vs. enhancement vs. differentiation 三层操作化定义完备，且可推广到任何”生成目标在分布中不均匀”的场景（论文 6.1 节明确列举了 frontal faces、daylight scenes、majority dialects 等外推例子）。该问题对下一代模型可控性评测有直接社区价值。
• Wiki 证据: OMC wiki 无记录。paper-wiki 无记录。free-search 补充：Mustango/MusicBench (Melechovsky et al. 2024) 和 MusiConGen (Lan et al. 2024) 均采用 prompted agreement 范式，证实论文所述问题在现有评测中确实存在且未被解决。Yang et al. 2026 “Compared to What?” 在 NLP 领域提出了类似的 counterfactual prompting 基线问题，但未涉及音乐领域。

公理二：识别公理

• 判定: ✅
• 依据: 论文的 matched neutral–A–B contrast family 设计精确隔离了指令变量：neutral 省略目标属性，A/B 仅交换目标值，其余 genre/instrumentation/BPM/seed 全部固定。三个统计量（Acc、Δ、Margin）分别度量 attainment、enhancement、differentiation，互不可替代。off-attribute placebo（将 key 指令的音频用 beat recognizer 重评，反之亦然）直接控制了”generic added-instruction”替代解释——placebo 效应 +0.003~+0.008 远低于真实效应 +0.250/+0.469。论文未同时改变 architecture/data/training，因为目标是评测已有系统而非训练新模型。最简 baseline（neutral generation）本身就是框架的核心组件。A/B swap 保持了 instruction channel 和 template 固定，比 neutral contrast 更紧密。
• Wiki 证据: OMC wiki 无记录。free-search 补充：CheckList (Ribeiro et al. 2020) 的 minimal pair 方法和 “Compared to What?” (Yang et al. 2026) 的 counterfactual prompting baseline 均确认了此识别策略的合理性，但两者都在 NLP 领域。论文将 matched neutral generation 作为额外控制是音乐生成领域独有的——因为音乐生成可以完全省略属性而不改变任务，这在文本生成中通常不可行。

公理三：独立性公理

• 判定: ✅
• 依据: 评测使用外部独立工具：S-KEY (Kong et al. 2025) 用于 key 识别，Beat This (Foscarin et al. 2024) 用于 beat/downbeat 检测，二者均在真实音乐参考集上验证（GiantSteps exact 0.506, GTZAN Keys exact 0.656, Ballroom grouping 0.998）。五个专家盲评者独立标注 60 clip 生成音频 + 28 完整 family（84 clip），auto vs. stable-majority 一致率 key 0.808、beat 0.643。bridge rater 重新标注完整 triplet 后，family-level 相关性 key 0.84、beat 0.80，且对比方向（正/负 Δ）在 85.7–100% 的 family 中一致。 recognizer 与生成模型无共享训练数据或架构来源。benchmark 不依赖任何闭源 API 或 judge model。唯一的轻微问题：human audit 中 key Δ 自动值 0.429 vs 人类 0.286，说明自动 pipeline 对 key 幅度偏乐观，但论文诚实报告了这一点且对比方向不变。
• Wiki 证据: OMC wiki 无记录。free-search 确认 S-KEY 和 Beat This 均为独立发表的 MIR 工具，非本文作者开发。CMI-Bench (Ma et al. 2025) 作为 benchmark 型论文也使用自动评测，但无 counterfactual 设计。

公理四：压缩公理

• 判定: ✅
• 依据: 框架概念极为简洁：一个 contrast family = neutral + 两个 target-swap treatment，三个统计量（Acc/Δ/Margin）各有明确语义且不可互相推导。没有引入额外模块、复杂理论或工程拼装。论文的核心压缩价值是 problem reframing：将”模型是否遵循指令”从 occurrence 测试重构为 attribution 测试，用一个 neutral baseline + 一个 swap 就把”可用性”和”可控性”分离。headroom bound（Δ ∈ [−p₀, 1−p₀]）是一个简洁但有解释力的理论结果，直接解释了为什么四拍 Δ 天然受限。6.1 节将框架推广到非音乐领域（frontal faces、daylight scenes）是有效的经验压缩。无命名膨胀：Acc/Δ/Margin 均为标准统计概念的直接应用。
• Wiki 证据: OMC wiki 无记录。free-search 确认现有 text-to-music 评测（MusicEval、SongEval、CMI-Bench）均未采用 counterfactual 或 matched-neutral 设计，论文的 reframing 在该领域确实是新的压缩。

公理五：效用公理

• 判定: ✅
• 依据: 绝对发现具有领域意义：ACE-Step 和 Stable Audio 3 的 key Δ 分别为 0.612 [0.563, 0.659] 和 0.646 [0.599, 0.693]，LeVo2 仅 0.026——这不是微小差异，而是”有效控制 vs 无控制”的质变。beat grouping 的发现更反直觉：Stable Audio 3 四拍 treatment 下 agreement 从 neutral 0.969 降至 0.563（Δ = −0.406），说明显式四拍指令反而降低了四拍产出率——这是现有评测无法发现的。结果跨 4 个 genre 一致（key Δ 跨 genre 0.521–0.729），跨 3 个 seed 一致（sentinel key Δ 0.609/0.698/0.010），placebo 效应比真实效应小 1-2 个数量级。baseline 覆盖三个 2026 年发布的开放系统 + Mustango 辅助结果。论文未声称单一系统”最优”，而是给出 response profile（target-specific Δ + Margin），这比单一排行榜更有信息量。作为 benchmark 型论文，scenario validity（4 genre × 24 key × 3/4 beat）、judge 独立性（外部 recognizer + 人类盲评）、指标可信度（bootstrap CI + seed sentinel + placebo）均达到高标准。
• Wiki 证据: OMC wiki 无记录。paper-wiki 无记录。free-search 确认 ACE-Step 1.5 (Gong et al. 2026)、Stable Audio 3 (Evans et al. 2026)、LeVo2 (Lei et al. 2026) 均为 2026 年发布的最新开放系统，baseline 选择覆盖了当前可用的主要开放 TTM 系统。未发现遗漏更强的同期 baseline。

公理六：新颖性公理

• 判定: ✅
• 依据: 核心创新是”matched neutral generation as counterfactual baseline for controllability attribution”——在音乐生成领域确实首次。CheckList (Ribeiro et al. 2020) 的 minimal pair 在 NLP 中测试行为变化但不使用 neutral baseline；”Compared to What?” (Yang et al. 2026) 在 NLP 中讨论 counterfactual prompting 的基线问题但也不使用 neutral generation（因为 NLP 任务通常无法省略属性而不改变任务语义）。音乐生成的独特之处在于可以自然地省略 categorical 属性（key、meter），这使 neutral contrast 成为可行的额外控制——论文在 7 节 Limitations 中明确指出了这一前提条件。这不是简单的跨领域迁移，因为 neutral generation 在音乐生成中有 domain-specific 的可行性基础。三个统计量（Acc/Δ/Margin）的组合设计是新的，headroom bound 是新的理论结果，”high agreement without positive treatment effect”的发现模式是新的经验贡献。
• Wiki 证据: OMC wiki 无记录。paper-wiki 无记录。free-search 搜索 “counterfactual prompting” + “music” 未发现同期工作。最接近的工作是 Yang et al. 2026（NLP 领域，concurrent，2 个月内不扣分）和现有 TTM 评测（均无 counterfactual 设计）。

公理七：可复现公理

• 判定: ⚠️
• 依据: 论文提供了详细的 reproduction package（5 阶段流水线：validate → generate → score → aggregate → verify），包含 cases.jsonl、generation_manifest.jsonl、eval_pairs.jsonl、detections.jsonl、config.json、report_v2.json。所有三个主系统均为开放权重/代码（ACE-Step 1.5、Stable Audio 3 Medium、LeVo2），recognizer（S-KEY、Beat This）也是开放的。literal rendering 示例、decoding 设置、seed 公式（SHA256-based deterministic）均已给出。不足之处：(1) ACE-Step 的 “historical run records released model identifiers and inference settings but lacks a contemporaneous repository/checkpoint pin”，影响精确历史字节恢复；(2) 全矩阵仅用单一 deterministic family seed（sentinel 用 3 seed 但只是 48-family 子集）；(3) 人类标注协议虽然描述详细但原始标注数据是否公开未明确说明。这些问题影响精确复现但不影响重新运行 benchmark 协议获得可比结果的能力。
• Wiki 证据: OMC wiki 无记录。论文明确声明 CC BY 4.0 许可，且 Appendix A.6 描述了完整的 executable reproduction contract。

日报摘要

• Strength: Matched counterfactual 框架用 neutral baseline + target-swap 将”目标出现”与”指令可归因控制”分离，揭示 Stable Audio 3 四拍 agreement 从 neutral 0.969 降至 treatment 0.563 的反直觉发现，且经 placebo（+0.003~+0.008）、5-rater 盲评（family-level 相关 0.80–0.84）、3-seed sentinel 验证。
• Weakness: 全矩阵仅单 deterministic seed，ACE-Step 缺 contemporaneous checkpoint pin，评测仅覆盖 global key 和 3/4-beat grouping 两个属性、三个系统，且 human audit 仅含单 bridge rater 的 28-family 子集，无法支持 per-model 人类排名。

总评

• 科学价值: 高 — 将 text-to-music 可控性评测从 occurrence test 重构为 attribution test，是一个认识论层级的进步，且框架可推广到任何输出分布不均匀的生成任务。
• 方法价值: 高 — matched neutral–A–B contrast family + Acc/Δ/Margin 三统计量设计简洁有力，placebo + sentinel + blind expert audit 构成多层证据链，headroom bound 提供理论解释。
• 社区价值: 高 — 直接改变了三个当前主要开放 TTM 系统的可控性经验结论，提供了可执行的 benchmark 协议和 reproduction package，对后续 controllability benchmark 设计有规范性影响。

打分

加权总分: 8.4/10（加权分之和 83.5 / 权重之和 9.5） 最终建议: Accept ≥8