Paper Review: Causal Tracing of Audio-Text Fusion in Large Audio Language Models

论文类型: 评测型（机制分析）

论文把 ROME 的 causal tracing 搬到大音频语言模型上：clean run 用原始音频，corrupted run 把音频整段换成静音，再把 clean run 的隐状态逐层（layer-wise）或逐位置（token-wise）贴回 corrupted run，用 Recovery Rate 衡量恢复了多少目标概率。

实验在 SAKURA 的四个属性（animal / emotion / gender / language）上跑了 DeSTA2、DeSTA2.5、Qwen-Audio、Qwen2-Audio、Voxtral 五个模型。

结论有三条：DeSTA 渐进融合、Qwen 晚期融合、Voxtral 早期融合；最后一个 token 是信息瓶颈；object token 在中间层存在类似 attention query 的激活。

实验结果审查

本次读的是 arXiv HTML v2 全文。全文没有一张数值表，所有结果只以 Figure 2（layer-wise 曲线）和 Figure 3（token-wise 热力图）两组图给出。

下文的数字是我从原图（arxiv.org/html/2603.13768v2/Figures/...）上目测读出的近似值，误差约 $\pm0.05$。

结果到底怎么样

这是一篇分析论文，没有”方法比基线好多少”这种主表。能核对的是图上的现象和论文对现象的描述是否一致。

Figure 2(c) Gender 上，Voxtral 在第 $12$ 层左右 RR 已到 $\approx0.75$，同一层 DeSTA2 / DeSTA2.5 约 $0.4$，Qwen / Qwen2 仍在 $-0.15$ 附近。

Qwen2 在第 $16$ 层跳到 $\approx0.4$，第 $18$ 层到 $\approx0.75$。论文正文写的是”around layers 18 to 31，the final third”，而在 Gender 上 Qwen2 的跃迁起点是第 $16$ 层，落在网络中部。

RR 的取值越出了 $[0,1]$。Qwen 在第 $25$ 层冲到 $\approx1.2$，Qwen 家族在第 $10$–$12$ 层跌到 $\approx-0.2$，Voxtral 在第 $4$–$5$ 层约 $-0.19$。负值意味着贴回 clean 隐状态反而比纯静音更差，论文对这两种越界都没有解释。

token-wise 一侧，Figure 3 各子图里 Last token 行在第 $15$–$17$ 层之后普遍进入 $0.6$–$1.0$。

object token 的激活只在部分组合里明显：Language 上 DeSTA2 的 object 行在第 $10$ 层附近接近 $1.0$，Voxtral 在第 $10$–$14$ 层约 $0.6$–$0.7$；Emotion 上 DeSTA2 在第 $10$–$12$ 层约 $0.7$。

到了 Gender，DeSTA2 的 object 行只有 $0.1$–$0.2$，Qwen、Qwen2 的 object 行在 Gender 和 Emotion 上基本贴近 $0$。

因此论文 5.3 节”object token acts as a critical trigger”的表述，在论文自己的 $20$ 个模型×属性组合里只在少数格子上成立。

有没有躲开的基线

这类工作的”基线”有两种：被分析的模型是否覆盖了提交时的主流 LALM，以及干预方法本身是否和标准替代方案对照过。

先看模型。论文 v1 在 2026-03 提交，v2 在 2026-09。在那之前已经公开权重、且结构上有代表性的 LALM 至少包括：

• Qwen2.5-Omni（2025-03，Thinker-Talker，TMRoPE 时间对齐）；
• Kimi-Audio（2025-04，离散+连续双路输入）；
• Audio Flamingo 3（2025-07）；
• Qwen3-Omni（2025-09，MoE）。

这几个模型都没有出现。这一点对论文的核心论断影响很大：所谓”Qwen family 晚期融合”只来自 Qwen-Audio 和 Qwen2-Audio 两个模型，而两者都基于 Whisper-large-v2 编码器加 Qwen-7B 骨干。

于是”家族模式”和”同一骨干的两个 checkpoint”在实验里无法区分。本仓库 2026-08-25 的评审（_paper_reviews/2026-08-25/2608.24958v1.md，评 7.37）分析的就是 Qwen3-Omni-30B-A3B，它表明更新的 Qwen 模型完全可以做这类层间分析。

再看方法。论文引用了 Zhang & Nanda（ICLR 2024，[32]）的 activation patching 最佳实践，却没有采用其中的任何建议。

那篇工作明确比较了 Gaussian noise 与 symmetric token replacement 两种 corruption，以及 probability 与 logit difference 两种指标。本文只用了静音一种 corruption、只用了 probability 一种指标，3.1 节用一整段文字论证静音”highly effective”，却没有任何实验支撑。

对属性分类任务，最直接的对照是”把男声换成女声”这种同分布替换。静音对音频编码器而言本身是分布外输入，它可能触发模型的文本先验，RR 的负值很可能就来自这里。

方法层面还缺两个对照：

• AudioLens（ASRU 2025，[51]）。本文直接沿用了它的 prompt 格式和 SAKURA 四属性，模型集合也有重叠，却没有把 logit lens 的层位结论和 causal tracing 的层位结论放在一起对照。代码在 github.com/ckyang1124/AudioLens（$7$ star），复现成本很低。
• attention knockout 或分模块（MLP / attention）patching。VLM 侧这已是标准做法，也是定位”融合发生在哪一类子层”的唯一手段。本文只贴整层 residual stream，无法回答 fusion 发生在注意力读取还是 MLP 变换上。

检索情况如实记录：OpenAlex 当日免费配额已耗尽（返回 Rate limit exceeded，$0$ remaining），Semantic Scholar 返回 429，dblp 返回空响应，free-search 的 bing 结果全是无关的词典和 B 站页面。

因此上面列出的 2025 年模型是我根据公开发布时间列出的，没有拿到检索结果支撑。仓库内既有评审能确认的同期音频可解释性工作有 AudioLens、Beyond Transcription、Read the Mind of an Audio LLM、Heard but Not Heeded（2026-09-01/2609.00727v1.md）。

基线年份

五个被分析模型里最新的是 2025 年中的 Voxtral 和 DeSTA2.5。2025 年下半年之后的 Omni 类模型一个都没有，而两个 Qwen 模型分别是 2023、2024 年的老 checkpoint。

DeSTA2 / DeSTA2.5 出自同一实验室，五个模型里有两个是作者自家的。

增益是否超出评测误差

论文没有报告任何样本数、方差、置信区间、seed 或显著性检验。

更具体地说：

• 3.1 节规定要剔除 clean run 预测错误、corrupted run 预测正确、或 $P_\text{clean}\le P_\text{corrupted}$ 的样本，但每个模型每个属性剔除后剩下多少条，全文没有给。
• 不同模型的正确率不同，剔除后的子集也不同，跨模型比较曲线时比的是不同样本集合。
• RR 是逐样本算再平均，还是先平均概率再算比值，正文没有说明。逐样本平均时，分母 $P_\text{clean}-P_\text{corrupted}$ 很小的样本会把 RR 拉到很大或很负，Figure 2 中的 $1.2$ 和 $-0.2$ 与这种情况吻合。

下面是估算，不是论文给出的数字。SAKURA 每个属性的单跳子集按我的记忆约为 $500$ 条（本次未回溯核实）。

若剔除后剩 $300$ 条，逐样本 RR 标准差取 $0.5$，均值的标准误约 $0.5/\sqrt{300}\approx0.03$。

按这个量级，Gender 第 $12$ 层 Voxtral（$\approx0.75$）和 Qwen（$\approx-0.15$）之间约 $0.9$ 的差远超噪声，层级跃迁位置的结论大体可信。

而 object token 那些 $0.1$–$0.3$ 的弱激活、Qwen 第 $25$ 层的 $1.2$ 尖峰，都只比估算噪声大一个数量级以内。若分母小的样本更多，噪声还会更大，这一部分在没有误差棒的前提下判断不了。

循环评测方面，RR 用的是被分析模型自己的输出概率，这本来就是机制分析的研究对象，不构成自评。但 layer-wise 与 token-wise 两条主结论里，有一部分是由构造决定的：

• layer-wise 贴的是”某一层的所有文本 token”。第 $0$ 层文本嵌入在两次运行中完全相同，RR 必然 $\approx0$；最后一层贴回后输出位置的隐状态与 clean 完全一致，RR 必然 $\approx1$。曲线两端由构造决定，只有中间的跃迁层携带信息。
• token-wise 贴的是”最后一个 token 在第 $l$ 层的隐状态”。$l$ 接近最后一层时，下一个 token 的分布几乎只由这个隐状态决定，RR 必然趋近 $1$。

所以”last token 是 informational bottleneck”的高 RR 有很大一部分是同义反复。真正非平凡的量是”last token 从第几层开始自足”，也就是 Figure 3 里约第 $15$–$17$ 层这个转折点。ROME 原文的核心证据是 subject token 上的早期位点，而本文在对应的一侧（object token）证据最弱。

公理审查结果

公理一：对象公理

• 判定: ⚠️
• 分数: 6
• 依据: “音频信息在 LALM 的哪一层、哪个位置被文本侧读取”是真实的问题，用干预代替观测的动机也成立。而论文的结论表述明显超出实验范围：摘要称”clear characterization of when and where”，5.2 节从一篇 VLM 工作推出”transformer-general retrieval mechanism”，5.3 节提出跳过早层省算力、监测 object token 检测幻觉，这些都没有做任何实验。在论文的设置中，证据只覆盖 $4$ 个分类属性、$1$ 种 prompt 模板和单 token 答案。
• Wiki 证据: 本仓库 2026-08-25/2608.24958v1.md（Qwen3-Omni 中间层 workspace）与 2026-07-28/2607.25355v1.md（fine-tuning 后 audio token 的语义与 readout）都把同一类问题当作真问题处理，后者把本文 v1 列为”Chen et al. 2026 做 audio-text fusion 的 causal tracing”。OpenAlex 配额耗尽、S2 返回 429，外部检索未拿到结果。

公理二：识别公理

• 判定: ❌
• 分数: 3
• 依据: 第一，模型集合偏旧且有混杂：五个模型里最新的是 2025 年中的 Voxtral / DeSTA2.5，缺 Qwen2.5-Omni、Kimi-Audio、Audio Flamingo 3、Qwen3-Omni；”Qwen family 晚期融合”只来自共享 Whisper-large-v2 + Qwen-7B 的两个 checkpoint，DeSTA 的两个模型也出自作者实验室。第二，各模型在编码器、adapter、LLM 骨干和训练数据上同时不同，论文却把曲线差异直接归因于”fusion strategy”，没有任何受控变量。第三，干预方法只有静音一种 corruption、probability 一种指标，没有采用自己引用的 Zhang & Nanda [32] 推荐的 symmetric token replacement 与 logit difference 对照。第四，没有和 AudioLens [51] 的层位结论对照，尽管两者 prompt、数据、属性完全一致。第五，据我对 DeSTA2 原文的记忆（本次未回溯核实），其 LLM 输入包含 Whisper 解码出的转写文本；若成立，把音频换成静音会改变这段文本 token，与 3.1 节”perfectly preserving sequence length”的前提冲突，论文没有讨论。
• Wiki 证据: 2026-08-27/2608.27785v1.md、2026-08-20/2608.19936v1.md 这两篇仓库内评审都把 activation patching 当作需要配合 logit lens / head knockout 的标准流程，本文只做了其中最基础的一步。GitHub 检索 AudioLens 官方仓库存在（ckyang1124/AudioLens，$7$ star）。OpenAlex / S2 / dblp 均失败，2025 年模型清单无检索支撑。

公理三：独立性公理

• 判定: ⚠️
• 分数: 6
• 依据: 没有训练环节，也不存在用自家模型打分的循环评测，RR 用被分析模型自身的输出概率，这符合机制分析的定义。扣分来自两处：一是样本按各模型自己的 clean / corrupted 正误过滤，每个模型比的是不同子集，且剩余样本数未报告；二是 layer-wise 两端和 token-wise last-token 高层 RR 由构造决定，被当成了实验发现。
• Wiki 证据: 无相关检索，判断来自原文 3.1–3.3 节的方法定义与 Figure 2/3 的读数。

公理四：压缩公理

• 判定: ⚠️
• 分数: 7
• 依据: 方法本身足够简单：三次前向、一次替换、一个比值，没有堆叠新模块。layer-wise 与 token-wise 两个维度的设计也直接对应”何时”和”何处”两个问题。扣分在于分析止步于整层 residual stream，没有拆到 attention / MLP 子层，简单换来的是分辨率不够，结论只能停在”某层附近”。
• Wiki 证据: 无相关检索。

公理五：效用公理

• 判定: ❌
• 分数: 3
• 依据: 全文没有一个数值表，没有误差棒，没有样本数，结论全部来自目测图形。last-token 瓶颈在高层的 RR 接近同义反复；object token 的 “query mechanism” 在 $20$ 个模型×属性组合里只有约 $4$–$5$ 格明显（Qwen-Animal、DeSTA2/Voxtral-Language、DeSTA2-Emotion），Gender 上 DeSTA2 只有 $0.1$–$0.2$。5.3 节的省算力与幻觉检测建议没有任何验证实验，例如对 Qwen2-Audio 跳过前 $14$ 层文本侧计算后测一次准确率，这个实验成本很低却没有做。RR 越界到 $1.2$ 和 $-0.2$ 的现象也没有解释。
• Wiki 证据: 仓库内 2026-09-01/2609.00727v1.md（Heard but Not Heeded）在同类问题上给出了探针准确率、CKA、泄漏率等具体数值，并做了 GRL 干预验证，作为对照可以看出本文的量化程度明显不足。

公理六：新颖性公理

• 判定: ⚠️
• 分数: 4
• 依据: 框架是 ROME [29] 的 causal tracing，RR 指标、四段 token 划分（early / object / late / last）和 last-token 瓶颈的表述都直接沿用 Li et al.（AAAI 2026，[34]）在 VLM 上的做法，prompt 格式沿用 AudioLens [51]。新增的部分是把这套流程第一次系统地跑在 LALM 上，以及”不同 LALM 的跃迁层不同”这一观察。按论文 2.2 节的梳理，此前音频侧的可解释性工作以观测式方法为主，因此”首个在 LALM 上做 causal tracing”的定位大概率成立，而技术层面的增量很小。
• Wiki 证据: 仓库 2026-07-28/2607.25355v1.md 的评审把本文 v1 当作 audio-text fusion causal tracing 的既有工作引用，说明在 2026-07 之前这一方向的先例确实只有本文。外部检索失败，无法确认 2026 年内是否有其他并发的 LALM patching 工作。

公理七：可复现公理

• 判定: ⚠️
• 分数: 4
• 依据: 五个模型和 SAKURA 都是公开的，方法也足够简单，按 3.1 节的描述可以重写。但论文没有放代码；没有给出过滤后的样本数；没有说明 Voxtral 用的是哪个尺寸；没有说明 RR 是逐样本平均还是聚合后计算；layer-wise 图横轴延伸到约 $31$，token-wise 热力图横轴只到 $29$，两者为何不一致、是否截断了最后两层，也没有交代。
• Wiki 证据: gh search repos "causal tracing audio language model"、"LALM causal tracing"、"audio text fusion causal tracing" 均无结果，未找到官方代码。

总评

这篇论文的优点在于问题选得准：LALM 的音频信息何时、在哪里被文本侧读走，是理解幻觉和设计 adapter 都绕不开的问题。

用干预式的 causal tracing 代替 logit lens 这类观测方法，方向也是对的。layer-wise 曲线给出的跃迁层差异，在论文的设置中幅度足够大（Gender 第 $12$ 层 Voxtral $\approx0.75$ 对 Qwen $\approx-0.15$），作为现象有参考价值。

主要问题在于证据的强度撑不起结论的口径。

第一，全文只有图没有表，没有样本数、方差和误差棒，RR 越界没有解释。

第二，”last token 是瓶颈”在高层基本由构造决定，非平凡的 object-token 证据只在少数模型×属性组合上出现，却被推到了”critical trigger”和幻觉检测。

第三，”Qwen 家族晚期融合”只来自同一骨干的两个老 checkpoint，模型间差异没有任何受控变量，也缺 2025 年之后的 Omni 类模型。

第四，静音作为唯一 corruption 没有任何对照，自己引用的 Zhang & Nanda 最佳实践没有采用，AudioLens 这个同数据、同 prompt 的现成参照也没有比。

作为一篇 workshop 级的初步观察，这篇论文成立；作为对 LALM 融合机制的”clear characterization”，证据不足。

日报摘要

• Strength: 首次在 LALM 上系统做 layer-wise / token-wise causal tracing，Gender 属性第 12 层 Voxtral 的 RR 约 0.75 而 Qwen 约 -0.15，跃迁层差异明显。
• Weakness: 全文无数值表、无样本数与误差棒，只用静音一种 corruption，”Qwen 家族晚期融合”仅来自同一骨干的两个 2023–2024 年模型。

打分

加权总分: 4.37/10（加权分之和 41.5 / 权重之和 9.5） 最终建议: Weak Reject