JELAR 把 Audio-Reasoner 的显式文本 CoT 换成固定 $T=20$ 步的连续 latent 推理。训练时,一个 BERT 编码器用问题和 ground-truth 答案构造 answer-aware query,再 cross-attend 到冻结的 WavJEPA-base 特征上,产出 latent 目标;LALM 用 Smooth L1 学着预测这些目标,推理时丢掉 BERT 和 WavJEPA,自回归地吐出 20 个 latent 再回答。
在论文设置中,它相对自己重训的 Audio-Reasoner 基线在 MMAU-mini 上提升 $2.70$ 个百分点,在 MMAR 上提升 $9.10$ 个百分点。正文共 4 页,实验只有一组受控对比、一张长度扫描表和一张四行消融表。
主表有两张。
Table 2(MMAU-mini):JELAR 平均 $62.40$,自训 Audio-Reasoner 基线 $59.70$,绝对 $+2.70$,相对 $+4.5\%$。增益几乎全部来自 Speech($51.37\to60.66$,$+9.29$),Music 仅 $+0.71$($61.57\to62.28$),Sound 反而下降 $2.55$($66.86\to64.31$)。
Table 1(MMAR):JELAR 平均 $52.80$,基线 $43.70$,绝对 $+9.10$,相对 $+20.8\%$,七个子类全部提升,Sound-Music-Speech 从 $25.00$ 到 $50.00$。
这两组提升是相对谁而言的?我们需要先看基线本身。
第一,论文里的「Audio-Reasoner」是作者在「相同训练数据和优化配置」下重训的版本,和官方 checkpoint 不是同一个模型。Audio-Reasoner 原论文(arXiv 2503.02318,Table 4)报告的 MMAU-mini 为 $61.71$(Sound $60.06$ / Music $64.30$ / Speech $60.70$)。本文基线的 Speech 只有 $51.37$,比官方低 $9.33$;而 JELAR 的 Speech $60.66$ 几乎就是官方 Audio-Reasoner 的 $60.70$。也就是说,MMAU-mini 上那 $+2.70$ 的大部分来自一个 Speech 偏弱的重训基线;对官方公开权重,JELAR 只高 $0.69$。
第二,MMAR 方向正好相反。MMAR 原论文(arXiv 2505.13032,Table 2)里官方 Audio-Reasoner 平均 $36.80$,本文重训基线反而到了 $43.70$。两张表上「基线比官方弱」和「基线比官方强」同时出现,说明这个重训基线和官方模型的差异不小,而论文没有交代训练数据是什么、规模多大。
第三,绝对水平上,JELAR 在 MMAR 上低于 Table 1 自己列出的开源 Qwen2.5-Omni-7B($56.70$),也低于 GPT-4o Audio($63.50$)和 Gemini 2.0 Flash($65.60$)。Table 2 则没有列 Qwen2.5-Omni,而 MMAR 论文附录 F 说 Qwen2.5-Omni-7B 在 MMAU test-mini 上超过 $65\%$,高于 JELAR 的 $62.40$。两张表的对照模型集合不一致,Table 2 恰好省掉了比 JELAR 强的那个开源模型。
按 MMAR 七个子类 $165/206/294/11/218/82/24$ 的题量回算,三行(Qwen2-Audio-Instruct、Audio-Reasoner、JELAR)都能精确还原到 $30.00/43.70/52.80$,数字内部自洽。MMAU-mini 这边,基线三域的等权平均是 $59.93$,与表中 $59.70$ 差 $0.23$,按 $333/334/333$ 回算也得不到整数题数,子集划分无法核对。
论文唯一的方法级对比对象是自训 Audio-Reasoner。下面这些工作在 2026-09-28 提交时都已公开,且同属「LALM 推理 + latent/连续表示」这条线:
| 工作 | 时间 | 与本文的关系 | 本文是否比较 |
|---|---|---|---|
| CoAT, Continuous Audio Thinking(arXiv 2606.18273) | 2026-06 | 同样给 LALM 加一段连续思考块,用冻结的音频专家特征蒸馏监督;在 Qwen2-Audio 上 MMAU $52.50\to66.90$、MMAR $47.10\to52.60$(其 Table 1) | 未引用,未比较 |
| SPARE(arXiv 2609.20849) | 2026-08 | 用 register token 对齐结论的 Sentence-BERT embedding,同样是「answer-aware latent 目标」,评测同为 MMAU/MMAR | 未引用,未比较 |
| HyPeR(arXiv 2604.14806) | 2026-04 | PAUSE token 做 latent 计算 + 感知一致性 reward | 未引用,未比较 |
| LatentOmni(arXiv 2605.22012) | 2026-05 | 音视频 latent 推理,特征级监督对齐 latent 状态与感官特征,对比了显式文本 CoT | 未引用,未比较 |
| Audio-Thinker(AAAI 2026) | 2025–2026 | RL 音频推理,基座同为 Qwen2-Audio 系 | 引用为 [15],未比较 |
| Step-Audio-R1(arXiv 2511.15848) | 2025-11 | 音频推理 SOTA 之一,GitHub stepfun-ai/Step-Audio-R1 701 star,权重公开 |
引用为 [11],未比较 |
| Audio-Cogito(arXiv 2604.12527)、Audio-DeepThinker(arXiv 2604.18187) | 2026-04 | 显式 CoT 路线在 MMAR 上的开源强基线 | 未引用,未比较 |
其中 CoAT 是最该比的那一个。
两者的核心动作几乎相同:在回答前插入一段连续 latent,用冻结的非文本音频编码器特征去监督它,训练后丢掉专家。我们可以把两者的数字放在一起看:CoAT 在与 Audio-Reasoner 同源的 Qwen2-Audio 基座上拿到 MMAR $52.60$,与 JELAR 的 $52.80$ 只差 $0.20$;而 CoAT 的思考块在一次 prefill 里处理完,不需要 JELAR 这样逐步自回归 latent。不过 CoAT 的训练数据、MMAU 评测划分与本文不同,两者的数字只能作量级参照,不能当作受控对比。
SPARE 同样该进对照。它的 latent 目标直接是结论的句向量,本文的 latent 目标也由 ground-truth 答案参与构造,并且 Eq. 9 的回答损失不 detach 地回传进 non-causal expert。
那么这 20 个 latent 里装的到底是什么?一种可能的理解是,JELAR 的 latent 有相当一部分在编码答案语义;Table 4 的「w/o acoustic conditioning」一行(MMAR $47.60$,已比基线高 $3.90$)也支持这个方向。缺了 SPARE 式的「只预测答案 embedding」对照,就分不清 WavJEPA 贡献的是声学证据,还是一个更好用的答案先验。
Audio-Thinker 可作锚点:仓库内既有评审 _paper_reviews/2026-07-22/2607.20166v1.md 记录了在 Qwen2-Audio 上 Audio-Thinker 的 MMAU $59.60$、MMAR $46.80$。量级上 JELAR 两项都更高,但同样不是受控比较。
检索记录:OpenAlex 当日配额耗尽(返回 Rate limit exceeded,dailyRemainingUsd: 0),未能查询;Semantic Scholar 返回 429;free-search(bing/bilibili)对「latent reasoning large audio language model」「audio latent chain-of-thought MMAR」「site:arxiv.org Step-Audio-R1 MMAR」等查询只返回词典页和无关视频,没有可用结果;dblp 请求超时后 JSON 解析失败。上表的候选来自 arXiv 站内搜索(arxiv.org/search,按发布时间倒序),再逐篇抓 arxiv.org/abs/<id> 核对摘要和日期,CoAT 与 MMAR、Audio-Reasoner 三篇抓了 HTML 正文核对表格数字。GitHub:gh search repos "JELAR" 无相关仓库,Audio-Reasoner 官方仓库 300 star,WavJEPA 官方仓库 37 star。
| 基线 | 年份 | 备注 |
|---|---|---|
| Qwen2-Audio-Instruct | 2024 | 数字转引自 MMAR / Audio-Reasoner 论文 |
| Qwen-2.5-Omni-7B | 2025 | 仅出现在 MMAR 表;MMAR 上 $56.70$ 高于 JELAR;MMAU-mini 表中缺席 |
| GPT-4o Audio | 2024 | 转引自 MMAR 论文 |
| Gemini 2.0 Flash | 2024-12 / 2025 | 转引自 MMAR 论文 |
| GPT-4o + Caption | 2024 | 转引自 Audio-Reasoner 论文 |
| Gemini-1.5-Pro | 2024 | 转引自 Audio-Reasoner 论文 |
| Audio-Reasoner(作者重训) | 2025(arXiv 2503,EMNLP 2025) | 唯一受控基线;MMAU-mini Speech 比官方低 $9.33$ |
最新的基线停在 2025 年。闭源模型全部是 GPT-4o、Gemini 2.0 Flash、Gemini-1.5-Pro 这一代,而引言自己引用了 Qwen3.5-Omni([10],2026)和 Step-Audio-R1([11],2025-11),两者都没进表。所有非受控基线的数字都是跨论文转引,评测提示和解码设置未必一致。
论文没有报方差、置信区间、多 seed 或任何显著性检验,因此我们只能按题量粗估一个噪声量级,下面的数字都是估算。
MMAR 共 $1000$ 题,准确率在 $50\%$ 附近时单模型的二项标准误约 $\sqrt{0.25/1000}\approx1.58$ 个百分点,两个独立模型之差的标准误约 $2.2$。$+9.10$ 大约是 $4$ 倍标准误,即使考虑单次训练的 seed 波动,这个量级大概率是真实差异。
MMAU-mini 题量同为约 $1000$,标准误约 $1.5$,两模型之差约 $2.1$。$+2.70$ 只有约 $1.3$ 倍,单靠题目抽样噪声就够不上常用的显著水平;再叠加训练 seed 方差,这项增益在论文现有证据下不能和噪声区分开。
我们也可以直接从 Table 3 里找一个噪声参照。$T$ 从 $20$ 改到 $24$,MMAU-mini 从 $62.40$ 跌到 $60.00$,到 $28$ 又回到 $61.10$,非单调地来回 $2.4$ 个百分点,和 JELAR 相对基线的 $2.70$ 同一量级。
Table 3 还暴露了超参选择的问题。论文说 $T=20$ 是在「开发数据的 held-out 验证集」上选的,但验证集是什么、多大没有交代;而 $T=20$ 恰好同时是两个测试集上的最高点。主表报告的正是这个点,等于在测试集峰值上报数。
评测本身是多选准确率,没有 LLM-as-judge 或自家模型打分,这一点干净。指标层面,MMAU-mini 上 Sound 下降 $2.55$ 在正文有提及,没有被藏起来;但引言用「幻觉」作动机,全文却没有任何幻觉相关评测。
_paper_reviews/2026-07-22/2607.20166v1.md。OpenAlex、Semantic Scholar、free-search、dblp 均失败,已在正文记录。gh search repos "JELAR" 只返回无关个人仓库;WavJEPA 官方仓库 labhamlet/wavjepa 37 star,Audio-Reasoner 官方仓库 xzf-thu/Audio-Reasoner 300 star。优点是受控对比的设计方向对:同一基座、同一数据,只换推理监督的形式,再用 Table 4 拆出「去掉声学条件」「换成 Whisper」「加回文本 CoT」三个变体,消融的问题问得准。MMAR 上 $+9.10$ 的增益在 $1000$ 题规模下大概率超出抽样噪声,七个子类全部上升,混合域子类提升最大,和「latent 推理利于整合多种声学线索」的假设方向一致。推理时丢掉专家模块、只留 $20$ 步 latent,部署形态也简洁。
主要问题在于,这个受控对比的唯一对手是一个来历不清的重训基线。它在 MMAU-mini Speech 上比官方 Audio-Reasoner 低 $9.33$,导致 MMAU-mini 的 $+2.70$ 对官方权重缩水到 $0.69$;它在 MMAR 上又比官方高 $6.90$,说明训练数据和配置与官方不同,而论文没有交代。
机制上最接近的 CoAT 在 Qwen2-Audio 上已经做到 MMAR $52.60$,与 JELAR 持平,却没有被引用。latent 目标由 ground-truth 答案参与构造且回答损失直接回传,缺少「只预测答案 embedding」的对照,WavJEPA 到底带来了多少声学证据,现有数据回答不了。
再加上单次运行、在测试集峰值处选 $T$、没有幻觉评测、没有代码,这篇 4 页的短文目前只能支撑「在作者设置下,MMAR 上有明显提升」这一个有限结论。
| Axiom | 判定 | 分数 | 权重 | 加权分 |
|---|---|---|---|---|
| 一 对象公理 | ⚠️ | 6 | 1.0 | 6.0 |
| 二 识别公理 | ❌ | 3 | 1.5 | 4.5 |
| 三 独立性公理 | ⚠️ | 6 | 1.0 | 6.0 |
| 四 压缩公理 | ⚠️ | 6 | 1.0 | 6.0 |
| 五 效用公理 | ⚠️ | 4 | 2.0 | 8.0 |
| 六 新颖性公理 | ⚠️ | 4 | 2.0 | 8.0 |
| 七 可复现公理 | ❌ | 3 | 1.0 | 3.0 |
加权总分: 4.37/10(加权分之和 41.5 / 权重之和 9.5) 最终建议: Weak Reject