我现在已经建立了全面的事实基础。让我整理一下在阅读完整 32 页 PDF 后的主要发现和先前的工作：

先前工作（通过 free-search 找到）：

1. VoxParadox (arXiv:2605.27772, 2026年5月，约早 2.5 个月) - “Do Audio LLMs Listen or Read?” — 同样的核心问题
2. Auditing Protocol-Level Shortcuts (arXiv:2607.13477, 2026年7月，同期) - 审计 LALM 评判模型中的捷径
3. ParaPairAudioBench (arXiv:2606.24648, 2026年6月，同期) - 副语言基准测试
4. AudioJudge (arXiv:2507.12705, EACL 2026) - 基础性 LALM 评判工作
5. The Judge Who Never Admits (arXiv:2602.07996, 2026年2月) - LLM 评判中的反事实式探针
6. Hearing Between the Lines (Chandra, Miller, Saligrama — 相同作者！ — EACL 2026 Findings)
7. SpeechLLM-as-Judges (arXiv:2510.14664, ACL 2026)

现在开始撰写完整综述：

Paper Review: Do Audio Language Models Use Paralinguistic Evidence? Counterfactual Audits for Response Evaluation

论文类型: Benchmark/分析型

论文提出一个反事实审计框架（counterfactual audit），用于诊断音频语言模型（ALM）作为评判者（judge）时是否真正使用副语言证据（affect、prosody、timing），还是仅依赖转录文本。框架包含 native one-context judgment protocol、contrastive recoverability control，以及将每项审计分解为 perception skill 和 response-mapping skill 的诊断状态。在 Gemini、GPT 和开源音频模型上评估，发现 contrastive success 常高估 native judge 可靠性，且相似聚合精度可掩盖不同失败模式。

公理审查结果

公理一：对象公理

• 判定: ✅
• 分数: 8
• 依据: 论文研究的对象真实且重要：ALM judge 是否真正使用副语言证据。这是一个正在快速增长的评测场景——随着 speech-to-speech 系统部署，ALM 被广泛用作自动评判者，但其是否真正”听”音频而非”读”转录文本，是一个直接影响评测有效性的核心问题。论文将”使用副语言证据”操作化定义为：在转录文本固定的反事实条件下，judge 能否跟踪 affect/prosody/timing 的变化。这一定义清晰且可操作。问题在当前模型中广泛存在（多个并发工作均关注此问题），且是下一代语音系统的必要能力。论文 claim 的外延（Gemini、GPT、开源模型）与实验验证范围一致。
• Wiki 证据: OMC wiki 无记录。free-search 发现 VoxParadox (arXiv:2605.27772, 2026-05) 提出相同核心问题 “Do Audio LLMs Listen or Read?”，Auditing Protocol-Level Shortcuts (arXiv:2607.13477, 2026-07) 审计 LALM judge shortcut，ParaPairAudioBench (arXiv:2606.24648, 2026-06) 构建副语言 benchmark——三个并发/近期工作均确认该问题是真实且受社区关注的。

公理二：识别公理

• 判定: ✅
• 分数: 8
• 依据: 论文的反事实设计是一个干净的因果识别策略：固定转录文本，仅变化 affect/prosody/timing，迫使有效 judge 必须追踪音频线索而非词汇内容。这一设计隔离了关键变量（音频线索 vs. 文本内容），能够因果性地判断 judge 是否使用了副语言证据。text-only baseline（仅给转录文本的 judge）作为最简 baseline 被纳入比较。contrastive recoverability control 提供了独立对照——如果 judge 在 contrastive 设置下成功但 native 设置下失败，说明其能力被高估。perception/response-mapping 分解进一步识别失败发生在哪个阶段（感知副语言线索 vs. 将线索映射到判断）。识别策略与动机一致。
• Wiki 证据: OMC wiki 无记录。free-search 发现 Auditing Protocol-Level Shortcuts (arXiv:2607.13477) 使用类似的 shortcut 检测方法（protocol-level manipulation），但本文的反事实设计（transcript-fixed manipulation）在识别策略上更为干净。The Judge Who Never Admits (arXiv:2602.07996) 在文本 LLM judge 领域使用 counterfactual-style probe，方法类似但域不同。

公理三：独立性公理

• 判定: ⚠️
• 分数: 6
• 依据: 审计项通过 TTS 系统合成构造（固定转录文本，变化 affect/prosody/timing）。这引入两个独立性顾虑：(1) TTS 合成的副语言变化可能包含 TTS 系统特有的 artifact，ALM judge 可能检测到 artifact 而非真正的副语言变化，导致结果被混淆；(2) 审计项由作者设计，针对特定已知能力维度，存在构造性偏倚的可能——审计项可能恰好探测到作者预期的失败模式。论文提及人类验证审计项的可感知性，但人类验证者是否独立于构造过程未完全说明。ALM judge 本身是被审计对象而非评测工具，这一层独立性是好的。contrastive recoverability control 作为内部对照提供了一定独立性保障。总体而言，合成构造管线是主要独立性风险点。
• Wiki 证据: OMC wiki 无记录。paper-wiki 无记录。free-search 未发现直接评估 TTS 合成 counterfactual 独立性的先前工作。Auditing Protocol-Level Shortcuts (arXiv:2607.13477) 使用 real speech manipulation 而非纯 TTS 合成，在独立性上可能更强。

公理四：压缩公理

• 判定: ⚠️
• 分数: 6
• 依据: 框架包含多层结构：审计项 → native/contrastive 协议 → perception/response-mapping 分解 → 诊断状态。这些层次各有用途，但整体复杂度较高。核心洞察——”反事实探针可以检测 judge 是否使用音频线索”——本质上是因果推断中 treatment-control 设计的标准应用，迁移到 ALM judge 评测领域。论文提供的两个压缩性发现有价值：(1) “contrastive success 高估 native 可靠性”是一个反直觉的可迁移经验规律；(2) “相似聚合精度掩盖不同失败模式”也是有用压缩。但感知/响应映射分解是否真正比更简单的探测（如直接询问”音频中 affect 是否变化”）更诊断性强，论文未充分论证。诊断状态的区分度和实际应用价值需要更多验证。
• Wiki 证据: OMC wiki 无记录。free-search 发现 VoxParadox (arXiv:2605.27772) 使用更简单的 probe（直接对比 audio vs. text-only 模式），也达到了检测副语言失败的目的，暗示本文的复杂分解可能非必需。

公理五：效用公理

• 判定: ⚠️
• 分数: 6
• 依据: 模型覆盖良好（Gemini、GPT、开源音频模型），发现具有实践指导意义（ALM judge 不应仅凭精度评估）。但作为 benchmark 型论文，证据标准需要更严：(1) 审计项为 TTS 合成，可能不代表真实世界语音评测场景中的副语言变异范围——真实语音中的 affect/prosody 变异远比 TTS 合成的更复杂；(2) 论文未展示审计结果能预测真实部署中的 judge 失败，即审计框架的外部效度未验证；(3) 与并发工作的增量效用有限——ParaPairAudioBench (arXiv:2606.24648) 已提供副语言 pairwise benchmark，Auditing Protocol-Level Shortcuts (arXiv:2607.13477) 已审计 LALM judge shortcut。本文的 native vs. contrastive 协议区分和 perception/response-mapping 分解是增量贡献，但是否显著优于并发工作的方案未充分讨论。指标覆盖尚可，但缺乏与并发 benchmark 的直接对比。
• Wiki 证据: OMC wiki 无记录。paper-wiki 无记录。free-search 确认 AudioJudge (EACL 2026) 是该领域基础工作，SpeechLLM-as-Judges (ACL 2026) 提供了 interpretable speech quality evaluation——本文未与这些工作直接对比。ParaPairAudioBench (arXiv:2606.24648, 5,175 pairwise samples) 在规模上可能更大，但本文未引用或对比。

公理六：新颖性公理

• 判定: ⚠️
• 分数: 5
• 依据: 论文的具体方法论贡献——(1) transcript-fixed counterfactual audit design, (2) native vs. contrastive protocol 区分, (3) perception/response-mapping 分解, (4) 诊断状态分类——是真实增量。但核心问题”ALM judge 是否使用副语言证据”已被 VoxParadox (arXiv:2605.27772, 2026-05, 约 2.5 个月前) 提出，超出 2 个月并发窗口。反事实审计方法在文本 LLM judge 领域已被 The Judge Who Never Admits (arXiv:2602.07996, 2026-02, 约 6 个月前) 使用。并发工作 Auditing Protocol-Level Shortcuts (arXiv:2607.13477) 审计 LALM judge shortcut 的方法与本文高度相似。ParaPairAudioBench (arXiv:2606.24648) 已构建副语言 benchmark。值得注意的是，本文作者 (Chandra, Miller, Saligrama) 的前期工作 “Hearing Between the Lines” (EACL 2026 Findings) 已在同一方向探索 LLM reasoning for speech evaluation，本文可视为该工作的延伸。总体而言，方法层面的具体设计是新的，但核心问题和审计范式已有显著先前探索，真实创新增量中等。
• Wiki 证据: OMC wiki 无记录。free-search 确认：VoxParadox (2026-05) 核心问题重叠；The Judge Who Never Admits (2026-02) 反事实方法重叠；Auditing Protocol-Level Shortcuts (2026-07) 审计方法重叠（concurrent）；ParaPairAudioBench (2026-06) benchmark 重叠（concurrent）；Hearing Between the Lines (EACL 2026, 同作者) 前期工作重叠。

公理七：可复现公理

• 判定: ⚠️
• 分数: 6
• 依据: 论文主要结果依赖闭源 API 模型（Gemini、GPT），这些模型随时间变化，实验结果无法精确复现。开源音频模型的结果可复现。审计项构造使用 TTS 系统，如果 TTS 系统和构造细节完全公开则可复现。论文描述了详细的审计构造流程和评测协议。但闭源模型依赖是核心结果可复现性的主要障碍——audit 结果反映的是特定时间点的 API 模型行为，未来模型更新可能改变所有结论。对于 benchmark 型论文，这一依赖降低了 benchmark 作为社区基础设施的长期可用性。
• Wiki 证据: OMC wiki 无记录。free-search 未发现独立复现尝试。ParaPairAudioBench (arXiv:2606.24648) 似乎开源了代码和数据 (GitHub: jsujeon/ParaPairAudioBench)，本文未明确说明代码/数据是否开源。

日报摘要

• Strength: 提出干净的反事实审计框架（transcript-fixed counterfactual），通过 native vs. contrastive 协议对比和 perception/response-mapping 分解，在 Gemini/GPT/开源模型上发现 contrastive success 系统性高估 native judge 可靠性且相似精度掩盖不同失败模式。
• Weakness: 审计项为 TTS 合成（外部效度未验证），核心问题和审计方法与 VoxParadox (2026-05)、Auditing Protocol-Level Shortcuts (2026-07)、ParaPairAudioBench (2026-06) 等近期/并发工作高度重叠，主要结果依赖闭源 API 模型影响长期可复现性。

总评

• 科学价值: 中 — 反事实审计框架是干净的因果识别策略，perception/response-mapping 分解提供了有用的诊断视角，但核心问题和方法的科学新颖性被近期工作大幅侵蚀。
• 方法价值: 中 — native vs. contrastive 协议区分和诊断状态分类有方法论贡献，但框架复杂度较高且核心反事实设计来自标准因果推断。
• 社区价值: 中 — 发现 “contrastive success 高估 native 可靠性” 对 ALM judge 部署有实践指导意义，但作为 benchmark 的长期可用性受闭源模型依赖和合成数据来源限制。

打分

加权总分: 6.3/10（加权分之和 60.0 / 权重之和 9.5） 最终建议: Borderline