我已经收集到了足够的研究依据。现在输出最终的综述。

Paper Review: From Semantics to Readout: Mechanistic Understanding of Audio Tokens after Fine-Tuning for Temporal Audio Grounding

论文类型: 分析型

这是一篇机制可解释性分析论文，以 temporal audio grounding fine-tuning 为诊断干预，分析 native audio-token states 在 fine-tuning 前后的语义、解码器可读性和时间输出对齐变化。论文不提出新方法或新基准，而是回答四个研究问题（RQ1-RQ4），属于典型的分析型贡献。

公理审查结果

公理一：对象公理

• 判定: ✅
• 分数: 8
• 依据: 论文的研究对象真实且清晰：LALM 中 native audio-token states 在 task fine-tuning 后语义和 readout 如何变化。这是一个真实存在的内部机制问题——已有工作（AudioLens, Beyond Transcription, Ma et al. 2026）已经揭示 audio representation 内部存在可解释结构，但 “fine-tuning 如何改变 native audio-token 的 decoder accessibility 和 temporal alignment” 这一具体问题在文中被明确指出未被研究。四个 RQ 均可操作化定义：token semantics 用 cosine similarity 量化，readout 用 calibrated gain 量化，temporal alignment 用 probe AUROC 和 residual-delta erasure degradation rate 量化。研究对象不是模糊概念包装。Temporal grounding 作为诊断设置选择合理：它要求模型把 event semantics 连接到 explicit temporal output，使 fine-tuning 的效果可观测。
• Wiki 证据: OMC wiki 三条查询均返回 “No wiki pages match”——wiki 中无该主题经验记录。paper-wiki 检索 “temporal audio grounding” 返回 SpotSound (2604.13023) 和 LAT-Audio (2604.22245)，均为 temporal grounding 方法型工作，不涉及机制分析，确认本论文对象在已收录工作中无重复。free-search 返回 Kulkarni et al. 2026 “A Closer Look at Failure Modes in Temporal Understanding of LALMs” 以及 TEMPO、TimeAudio、SpotSound、TimePro-RL 等方法型工作，但没有一篇做 native audio-token 的 mechanistic 分析，支持论文声称的 gap。

公理二：识别公理

• 判定: ✅
• 分数: 9
• 依据: 论文在因果识别上做得相当严格，是本文最大亮点之一。（1）Cross-checkpoint control（Table 3）把 decoder swap 和 patched-state swap 分离，证明 readout gain 主要来自 decoder adaptation 而非 intermediate state 变化——这是清晰的变量隔离。（2）Position-only control（Appendix E）排除 “probe 只学到 token 位置” 的混淆解释。（3）Residual-delta erasure 用 size-matched random mask 作为对照，控制了 “mask 数量” 这一混淆变量，使 predicted-window erasure 的额外 degradation 可归因于位置的功能性而非数量。（4）Calibrated readout 用 no-patch baseline 减去 prompt 自身诱导的 generic output，隔离了 audio-token state 的语义贡献。LoRA 只作用于 language model blocks，audio tower 和 projector 冻结——这一训练设置本身就是一个天然的控制变量，使 audio-token 输入不变、只有 decoder 侧可变。四个诊断分别对应 representational alignment / decoder accessibility / output consistency / functional relevance，互不替代，诊断设计有层次。
• Wiki 证据: OMC wiki 无 “ablation 消融” 相关记录。paper-wiki 中未收录本论文。free-search 确认 cross-checkpoint control 和 residual-delta erasure 这两个识别设计在同类 audio interpretability 工作中未见先例——AudioLens 只做 logit-lens projection，Beyond Transcription 做 probing + intervention 但不涉及 fine-tuning 前后对比。

公理三：独立性公理

• 判定: ⚠️
• 分数: 6
• 依据: 存在两个独立性关切，但都不是 fatal。（1）Semantic bank 自构自评：event-phrase semantic bank B^l 从 LALM 自身 text pathway 提取，再用同模型 audio-token state 与之计算 cosine similarity。这是 “用模型自己的 text 表示定义 event 语义，再测模型自己的 audio token 是否符合该语义”——存在一定循环性。作者承认这是 “checkpoint-relative” 度量，但正是这一相对性使得 base vs FT 的语义分数比较变得依赖模型自身表示空间，而非外部独立锚点。SBERT 用于 readout gain 计算提供了部分外部独立性，但 semantics diagnostic 本身缺乏外部 human-validated event-phrase ground truth。（2）AudioGrounding-QA 由作者自构：从 AudioGrounding 公开语料转换而来，转换 prompt 和 cleaning 规则在 Appendix A，但 benchmark 本身未经独立第三方验证或独立 human accuracy audit。不过：源语料 AudioGrounding 是公开的；指标 mIoU/F1/R@0.x 是标准定义；temporal-window probe 的 annotated labels 来自原始 AudioGrounding 标注，非模型生成——这些缓解了循环性。整体属于 “辅助指标存在部分重叠” 的 major-but-not-fatal 范畴。
• Wiki 证据: OMC wiki 无 “judge 独立性 循环论证” 记录。paper-wiki 无 AudioCaps dataset 记录。free-search 未返回对该 benchmark 独立性的第三方评估。

公理四：压缩公理

• 判定: ✅
• 分数: 8
• 依据: 论文的核心压缩价值在于 “semantics-to-readout” 这一分解框架：把 “fine-tuning 让 grounding 变好” 这一黑盒现象分解为四个可分离的诊断层次（representation alignment → decoder accessibility → output consistency → functional relevance），每层有独立度量。这不是模块堆叠，而是问题重构。具体压缩点：（1）”base checkpoint 已含 latent event evidence，fine-tuning 主要改善 readout 而非创建 evidence”——这是一个反直觉且可迁移的经验规律，压缩了 “fine-tuning 在做什么” 的理解。（2）Table 3 的 decoder-swap vs state-swap 把 “readout 改善” 进一步压缩归因到 “decoder adaptation” 而非 “intermediate state 重写”。（3）Residual-delta erasure 把 probe 的 correlation 性证据升级为 causal 性证据，是诊断层次的压缩。方法本身不引入新模块、新训练目标或新超参——诊断工具（probing, activation patching, logit-lens）均为已有方法，组合方式服务于解释而非性能。命名 “semantics-to-readout” 准确，无命名膨胀。
• Wiki 证据: OMC wiki 无 “已有方法 等价” 记录。paper-wiki 收录的 SpotSound / LAT-Audio 均为方法型，不构成压缩公理对照。free-search 确认 Patchscopes、LatentLens、AudioLens 为各诊断组件来源，论文在 Related Work 中明确引用并区分，未声称这些诊断是自创。

公理五：效用公理

• 判定: ⚠️
• 分数: 6
• 依据: 对分析型论文，效用标准是 “现象是否可靠、解释是否可迁移、是否压缩已有经验”。可靠性：核心结论在两个模型（Qwen2.5-Omni, Qwen2-Audio）上复制，主要 pattern 一致（predicted-window hit gains 正向、readout 改善、probe pattern），这是正面信号。但存在显著缺口：（1）模型覆盖极窄——仅 2 个模型，均为 Qwen 家族，同源架构（均基于 Qwen2 LLM backbone）。跨家族验证缺失（如 SALMONN, Audio Flamingo, 基于 Llama 的 LALM），”semantics-to-readout” 是否为通用规律存疑。（2）单一任务诊断——仅 temporal grounding 一个任务。论文标题声称 “Mechanistic Understanding of Audio Tokens after Fine-Tuning”，但只测了一种 fine-tuning 目标。对 audio QA、captioning、speech emotion 等其他 fine-tuning 目标是否同样成立未做检验，结论外延大于验证范围。（3）绝对 grounding 性能仍有限——Qwen2.5-Omni FT 的 R@0.9 仅 0.3286，Qwen2-Audio FT 仅 0.2157，说明即使 fine-tuning 后高精度定位仍困难。这不直接影响分析结论的有效性，但限制了对 “fine-tuning 解决了什么” 的实际效用判断。（4）量化规模偏小——cross-checkpoint control 仅 100 实例，residual-delta erasure 仅 100 实例，representative case 为单例展示。核心定量结论的置信区间（Table 3 gap CI）在部分 layer band 较宽。
• Wiki 证据: OMC wiki 无 SOTA 记录。paper-wiki 收录的 SpotSound 声称 “state-of-the-art performance across multiple temporal grounding benchmarks”——本论文未与 SpotSound、TimeAudio、TimePro-RL 等同期方法型工作做 grounding 性能对比，但这对分析型论文不是必须的。free-search 返回 TEMPO (OpenReview) 也是 temporal grounding post-training 方法型工作，本论文未引用对比。

公理六：新颖性公理

• 判定: ✅
• 分数: 8
• 依据: 新颖性是真实的，体现在问题层面而非工具层面。工具层面：probing、activation patching、logit-lens、residual-stream intervention 均为已有方法（论文明确引用 Hewitt & Liang, Meng et al., Ghandeharioun et al., Krojer et al.）。但问题层面——”task fine-tuning 如何改变 native audio-token 的 semantics-to-readout 链路”——在已检索工作中无先例：AudioLens 分析 auditory attribute 在 LALM 中的 layerwise evidence，但不涉及 fine-tuning 前后对比；Beyond Transcription 分析 ASR representation，不涉及 audio-token-language-decoder 接口；Ma et al. 2026 分析 LoRA 对 Whisper encoder 的影响，但 Whisper 是 ASR encoder 而非 LALM native audio token；Chen et al. 2026 做 audio-text fusion 的 causal tracing，但不区分 fine-tuning 前后。cross-checkpoint control（decoder swap vs state swap）是本文设计的全新控制方案，在上述工作中未见。semantics-to-readout 的四层分解框架作为分析贡献是新的。同期工作（SpotSound, TimeAudio, TimePro-RL, TEMPO, LAT-Audio, 均 2026 年 2-4 月）均为方法型 grounding 改进，与本分析型工作不构成 novelty 冲突。
• Wiki 证据: OMC wiki 无 “first new unified” 记录。paper-wiki 无本论文收录。free-search 确认 AudioLens (2506.05140) 为最接近的 audio interpretability 工作，但其 scope 是 attribute perception 而非 fine-tuning effect on token readout。

公理七：可复现公理

• 判定: ⚠️
• 分数: 5
• 依据: 部分可复现，存在显著缺口。（1）代码未明确开源——论文正文和摘要未提及代码/release URL；摘要提到 “Report GitHub Issue” 是 arXiv 模板，非作者代码链接。Reviewer 无法确认是否有公开 code repo。（2）模型 checkpoint：Qwen2.5-Omni-7B 和 Qwen2-Audio-7B-Instruct 均为公开模型，LoRA fine-tuning 在 Appendix D 有硬件和超参描述——这部分可复现。（3）数据：AudioGrounding-QA 基于公开 AudioGrounding 构建，转换 prompt 在 Appendix A——可复现，但 cleaning 规则的完整细节需 appendix 核验（HTML 中 Appendix 内容未完全渲染）。（4）诊断实现细节：probe 的 L2 正则、label ratio、AUPRC、validation-selected F1 在 Appendix E；residual-delta erasure 的 sampling 和 IoU 阈值 (0.05) 已给出——基本可复现。（5）关键量化结果的样本量小：cross-checkpoint control 和 residual-delta erasure 各 100 实例，未给出随机种子或多次运行方差，复现时可能因采样波动得到不同数值。整体：方法和数据原则上可复现，但代码未确认开源和小样本量化结果拉低了可复现性。
• Wiki 证据: OMC wiki 无可复现性相关记录。paper-wiki 无本论文收录，无法核对 code release 标注。

日报摘要

• Strength: 通过 cross-checkpoint control（decoder-swap vs state-swap）和 size-matched residual-delta erasure 等严格因果识别，证明 grounding fine-tuning 主要改善 decoder readout 而非创建 event evidence，base checkpoint 已含可恢复的 latent event structure。
• Weakness: 仅在 2 个同家族 Qwen 模型、1 个 fine-tuning 任务上验证，标题声称的 “Mechanistic Understanding of Audio Tokens after Fine-Tuning” 外延远大于验证范围；代码未确认开源，关键量化结论仅基于 100 实例。

总评

• 科学价值: 中 — 发现了 “fine-tuning 改善 readout 而非创建 evidence” 这一反直觉规律，并做了较严格的因果归因；但外延（2 模型 × 1 任务）不足以支撑标题所声称的一般性 “Mechanistic Understanding”。
• 方法价值: 高 — 四层诊断框架（semantics → readout → probe → intervention）设计有层次，cross-checkpoint control 是本文原创的控制方案，可作为 audio mechanistic interpretability 的方法模板。
• 社区价值: 中 — 为 audio interpretability 提供了新的分析范式，AudioGrounding-QA 作为诊断资源有复用价值；但因仅覆盖 Qwen 家族，对社区的普适指导意义受限。

打分

加权总分: 6.84/10（加权分之和 68.5 / 权重之和 9.5） 最终建议: Weak Accept 6.5-8

研究阶段工具调用记录：

• arXiv HTML 全文获取：成功（162984 bytes，43977 chars 提取文本）
• OMC wiki_query × 3：均返回 “No wiki pages match”（wiki 中无该领域经验记录）
• OMC wiki_list：返回 “No pages readable by main-orchestrator”
• paper-wiki search –concept “temporal audio grounding”：返回 SpotSound (2604.13023), LAT-Audio (2604.22245)
• paper-wiki search –concept “mechanistic interpretability audio language model”：无输出
• paper-wiki search –dataset “AudioCaps”：无输出
• paper-wiki search –paper “2607.25355”：返回 “Paper not found”
• paper-wiki search –concept “sound event detection temporal localization”：无输出
• paper-wiki search –concept “activation patching causal tracing hidden state”：无输出
• paper-wiki search –concept “AudioLens Whisper probing”：无输出
• paper-wiki search –concept “Qwen2.5-Omni Qwen2-Audio audio language model”：无输出
• free-search “temporal audio grounding LALM 2025 2026 SOTA”：返回 15 条（openalex/openreview/exa），含 TEMPO, SpotSound, TimeAudio, TimePro-RL, Kulkarni et al.
• free-search “AudioLens LatentLens Patchscopes hidden state interpretability”：返回 10 条，确认各诊断组件来源论文
• wiki_ingest：已跳过（按用户指令跳过 Step 5）