Paper Review: On the Robustness of Audio Deepfake Detection under Audio Watermarking

论文类型: 评测型

本文是面向音频深度伪造检测（ADD）系统鲁棒性的评测研究，将音频水印 WavMark 视为”结构化、非对抗的良性信号扰动”，在黑盒设定下测量其对多个 ADD 模型在五个数据集上的检测性能（EER）与中间层嵌入表征（Fréchet Distance、余弦距离、L2 距离）的影响。与既有对抗攻击研究相比，论文的定位是把内容保护用的水印当作真实世界媒体管线中更可能出现的扰动源，评估其暴露出的 ADD 脆弱性。论文不提出新的检测或水印方法，贡献集中在评测框架、跨架构跨数据集的实证结果与表征级分析。

公理审查结果

公理一：对象公理

• 判定: ✅
• 分数: 8
• 依据: 问题真实且界定清晰：水印与 ADD 同属”音频真实性与安全”的两类工具，但两者的交互（水印嵌入是否会破坏 ADD 特征表征与判定）此前缺乏系统性研究。论文将研究范围限定为黑盒、免梯度、非优化的良性结构化扰动，明确区别于既有 adversarial attack 文献（Rabhi et al.、Farooq et al. 的 GAN 对抗攻击），并选择 WavMark 作为水印实现（SNR 38.55 dB、PESQ 4.3，arXiv:2308.12770 已验证存在）。范围界定合理，但从真实世界风险角度看仍窄：只测了 WavMark 一种水印（默认 16 bit），未覆盖 Timbre Watermarking、AudioSeal、SilentCipher 等论文自己在 II-B 中列举的其他水印，单水印结论外推到”音频水印”全类的风险没有讨论。
• Wiki 证据: 论文标题与 ID 经 arXiv HTML 全文核对（arXiv:2608.24159v1）。WavMark（arXiv:2308.12770）经 arXiv API id_list 查询确认存在，标题为 “WavMark: Watermarking for Audio Generation”。free-search（general/academic 类别及 arxiv/openreview/dblp 源）返回 0 条相关结果，OpenAlex 与 GitHub API 均因配额限流失败，此处如实记录为未取得额外相关性证据。

公理二：识别公理

• 判定: ⚠️
• 分数: 6
• 依据: 相关工作识别基本到位：II-A 覆盖 GAN 对抗攻击、可迁移对抗攻击，II-B 正确梳理 WavMark、Timbre Watermarking、AudioSeal、SilentCipher 四个代表性水印框架，III-D 以 Speech DF Arena 为依据选模型。基线设定合理：8 个 ADD 模型覆盖 SSL（XLSR+SLS、TCM、Nes2Net）、GNN（AASIST、RawGAT-ST）、CNN（RawNet2、RawTFNet）三大类，且全部基于 ASVspoof 2019 训练、报告了 No WM 与 WM 两个对照条件，构成公平对比。主要问题在于：全部模型来自 ASVspoof 2019 训练范式，评测集却包含 ASVspoof 2024 等分布外数据，跨数据集比较混合了”模型本身域泛化差异”与”水印扰动效应”两个变量；此外缺少与直接加性噪声（如相同 SNR 的噪声扰动）作为对照，无法区分”水印的破坏性”与”任何等强度信号修改的破坏性”，削弱了对”水印特定脆弱性”的归因。
• Wiki 证据: arXiv API 对 SilentCipher（2406.03822）与 ITW（2203.16263）的批量查询返回空（该查询未成功返回标题），仅 WavMark 单独验证成功。dblp API 返回非 JSON 数据，free-search 各源为空，均为如实记录的失败锚点。

公理三：独立性公理

• 判定: ✅
• 分数: 8
• 依据: 评测独立性强。所有 ADD 模型为冻结的预训练权重（fϕ*），水印嵌入只走 WavMark 的嵌入分支（明确 disregard 解码分支，不训练也不做目标模型梯度优化），ADD 模型训练集（ASVspoof 2019）与评测数据、水印过程完全隔离，不存在循环评测或自评。黑盒设定成立：扰动生成不依赖任何 ADD 模型信息。扣分点在于唯一对照组是”无扰动”自身，缺少独立第三方基线（如其他水印、通用音频扰动）来交叉验证结论。
• Wiki 证据: 与公理二相同的搜索失败记录，未获得外部独立评测证据。

公理四：压缩公理

• 判定: ⚠️
• 分数: 6
• 依据: 方法上论文并未新增复杂系统，评测框架即”现有 ADD 模型 + 现成 WavMark”，实现开销低，这符合评测型工作的朴素性要求。但表征级分析部分引入 Fréchet Distance、余弦距离、L2 距离三个指标叠加 t-SNE 可视化，用于同一个”嵌入分布被扰动”的结论，指标间信息冗余明显，未说明三个指标各自不可替代的边际信息量。在表 II 中 FD 数值跨度达 0.00–1089.69，跨模型可比性存疑（未做归一化），增加了表征解读的复杂度而没有相应的分析收益。
• Wiki 证据: 无额外搜索证据，基于全文方法章节的事实评估。

公理五：效用公理

• 判定: ⚠️
• 分数: 5
• 依据: 效用量化到位：Table I 给出 8 模型 × 5 数据集的 No WM/WM 双列 EER，核心结论是 ASVspoof 2021 LA/DF 上 EER 大幅恶化（如 XLSR+SLS 从 2.86%→29.33%、1.91%→33.90%，RawTFNet 在 DF 上 EER 增到 35.03%，最高 EER 达 36.50%），而 ASVspoof 2024/FoR/ITW 上影响轻微；表 II 显示嵌入位移（FD/余弦/L2）与检测退化强相关。主要问题在于：其一，”真实世界风险”论证薄弱，论文自己也承认受影响最大的 ASVspoof 2021 LA/DF 是干净、受控、同质化的数据集，而真实分布外数据集上水印几乎无影响，这反而说明实际场景中水印不是主要威胁，结论方向与”曝光真实脆弱性”的主张存在张力；其二，未与实用替代方案对比——同样的评测预算下没有回答”水印扰动相比等强度的加性噪声或 MP3 压缩、重采样等实际传输失真，危害是否更大”，缺少这一基线使效用结论缺乏参照。
• Wiki 证据: 搜索锚点失败记录同前；未找到该方向的既有评测（如 ADD × 水印/失真的系统性对比）以佐证其效用主张。

公理六：新颖性公理

• 判定: ⚠️
• 分数: 5
• 依据: 据论文声称与检索情况，”水印作为非对抗扰动评测 ADD 鲁棒性 + 表征级分析”这一组合此前未见于文献，选题角度具有一定新意；且与既有对抗攻击文献（优化扰动、目标模型可访问）形成明确差异。主要问题在于：第一，方法层无新组件，评测管道为现成工具拼装（WavMark + 现成 ADD + 现成度量），贡献本质是实证结论而非技术方法；第二，核心结论（水印能降低 ADD 性能、影响随数据集特性变化、特征位移与性能退化相关）符合直觉预期，缺乏反直觉的机制性发现；第三，表 II 中 AASIST/RawGAT-ST 的”嵌入位移小但 EER 仍大幅退化”本是最有新颖性的反直觉观察，论文仅一句话带过，未深入机制讨论，浪费了最重要的潜在贡献。
• Wiki 证据: free-search 各源、OpenAlex、GitHub API 均未能返回相关文献列表（限流/空结果），无法独立确认”无人做过”的声明，故新颖性判定主要依赖全文内部证据。

公理七：可复现公理

• 判定: ❌
• 分数: 3
• 依据: 摘要声称代码可在 https://github.com/ziqian0925/wm-ADD-robustness.git 获取，经核实现仓库存在但 README 仅写 “Code will be released soon”，无任何代码、配置或权重文件，论文声称的可复现承诺当前为空。文中所有 ADD 模型权重依赖 Speech DF Arena 的公开预训练模型（可用），WavMark 亦公开（https://github.com/wavmark/wavmark），理论上有复现路径，但评测脚本、数据处理与随机种子等关键细节未发布，EER 数值无法独立验证。
• Wiki 证据: 直接抓取 github.com/ziqian0925/wm-ADD-robustness 与 raw.githubusercontent.com 的 README（main/master 两分支），内容均为 “Code will be released soon”；GitHub 页面确认仓库存在（HTTP 200），tree/main 无代码文件列表。此为该公理判定的主要外部证据。

总评

论文选题明确且实证工作扎实：它以”水印作为结构化非对抗扰动”的视角系统评测了 8 个 ADD 模型在 5 个数据集上的鲁棒性，评测框架简单、黑盒设定干净、独立性强，EER 与表征级指标（FD/余弦/L2）双轨对照，数据完整详实（Table I/II 覆盖全部组合），并给出 WavMark 的 SNR 38.55 dB、PESQ 4.3 等扰动强度量化，使”低失真良性扰动仍可显著破坏受控数据集上的 ADD”这一现象有据可查。SSL 类模型（XLSR+SLS、Nes2Net）spoof 嵌入大幅漂移（FD 达 419–1089）与 EER 剧烈恶化的对应关系也是令人信服的发现。

主要问题在于四个方面。其一，归因薄弱：缺少等强度加性噪声或实际传输失真（压缩/重采样）的对照实验，无法证明”水印特定”脆弱性，而非任何等强度信号修改的普遍效应。其二，结论与真实风险存在张力：水印影响最大的恰恰是干净同质的 ASVspoof 2021 LA/DF，而论文自己也认可分布内场景的脆弱不代表真实部署场景的威胁，这与摘要”暴露隐藏鲁棒性漏洞”的强主张不匹配。其三，单水印设定：只测 WavMark 一种水印，无法外推至 AudioSeal、SilentCipher 等其他框架。其四，可复现失败：摘要承诺的 GitHub 仓库目前是空占位（”Code will be released soon”），评测脚本与实现细节均未公开，这是本轮评审中扣分最重的单项。此外，AASIST/RawGAT-ST”小嵌入位移却大幅 EER 退化”的反直觉观察被一笔带过，本可以成为论文最有分量的机制性贡献。

日报摘要

• Strength: 黑盒评测 8 个 ADD 模型 × 5 数据集，WavMark 水印（SNR 38.55 dB）在 ASVspoof 2021 LA/DF 上使 EER 从约 2% 恶化至 29–35%，且嵌入位移（FD 最高 1089.69）与检测退化强相关，实证数据完整。
• Weakness: 缺等强度噪声/失真对照而无法归因于水印、仅测单一水印、且摘要承诺的代码仓库为空占位，均削弱结论强度与可复现性。

打分

加权总分: 5.1/10（54.0 / 9.5）

最终建议: Borderline（5-6.5）