Paper Review: OmniReasoning: Pushing the Limits of Audio-Visual Joint Reasoning

论文类型: 系统型

论文一次交付三件东西：音视频必须联合才能作答的评测集 OmniReasoningBench（1,150 题），自动出题引擎 OmniQA 及其产出的 SFT-112K / RL-19K 训练数据，以及在 RLSD 上加一项音视频交互项的 RL 方法 MFSD。

在论文设置中，以 Qwen3-Omni-30B-A3B-Thinking 为底座，OmniReasoning-30B-A3B 在 OmniVideoBench 上从 $37.2$ 升到 $50.0$，在自家评测集上从 $33.2$ 升到 $42.5$。

全文来源：arXiv HTML 在第 4 节表 1 处截断，表格未渲染，因此改读 PDF 全文（含附录 A–F）。

实验结果审查

结果到底怎么样

先看对底座的增益。

在论文 Table 1 中，OmniReasoningBench 总分从 $33.2$ 到 $42.5$，绝对 $+9.3$，相对 $+28\%$。在 Table 2 中，OmniVideoBench $37.2\to50.0$（$+12.8$，相对 $+34\%$），LVOmniBench $37.7\to44.7$（$+7.0$），Video-MMMU $68.3\to74.4$（$+6.1$），Video-MME-v2 $36.5\to44.0$（$+7.5$）。

对最强基线，结论相反。

OmniReasoningBench 上最强的是 Gemini-3.7-Flash，$57.6$，论文模型落后 $15.1$ 分。开源里最强的是 MiMo-V2.5，$44.6$，论文模型仍低 $2.1$ 分。在 OmniVideoBench 上，论文模型 $50.0$ 低于 MiMo-V2.5 的 $51.6$，只赢过 Nemotron-3-Nano-Omni（$42.1$，$+7.9$）。

因此「SOTA」只在「30B-A3B 量级的开源 omni 模型」这一档成立。论文正文也承认与 Gemini-3.7-Flash 有明显差距，这一点与数字相符。

增益的分项分布很不均匀。

选择题涨了 $12$–$16$ 分，开放题几乎没动。beyond video OE 的 $+0.7$ 落在 150 题的噪声里，可以视为零增益。

增益从哪里来，Table 4 给了拆分。

OmniVideoBench 的 $12.8$ 分里，$9.8$ 分来自 SFT，MFSD 只再加 $3.0$。

MFSD 对 RLSD 的差距是：ORBench $+3.3$，OVB $+4.6$，LVOmni $+4.6$，VMME-v2 $+4.2$，VMMMU $+2.4$。这是论文第三个贡献唯一的直接证据，而它只有一次运行、150 步。

有没有躲开的基线

论文的闭源对照覆盖面很宽，Gemini 四个版本、Doubao、Muse Spark、Qwen3.5-Omni-Plus 都在。缺的集中在两处：同样做过音视频 RL / 数据的开源工作，以及 Table 4 里的 RL 方法族。

第一，缺少同任务的「训练方法」对照。

• OmniVideo-R1（arXiv 2602.05847，ICML 2026）。论文 Related Work 引了它，说它也在做音视频 RL。GitHub 上有公开仓库 zhangquanchen/OmniVideo-R1（检索时 8 star）。这是最直接的同任务 RL 基线，表中没有。
• OmniVideo-100K（arXiv 2606.14702）。同样是「证据链 + clue 引导出题」的音视频训练数据，论文自己在 Related Work 里把它列为最接近的数据工作。合理的对照是：用同一底座、同样步数训一遍 OmniVideo-100K，看 OmniQA 数据到底多出多少。表中没有。
• video-SALMONN 2（arXiv 2506.15220）。被引用，未进表。
• AV-Reasoner（arXiv 2506.05328）。被引用，未进表。

这几项对照缺失的后果是：Table 2 里 $+12.8$ 的增益，无法区分「OmniQA 数据比别人的好」和「任何 10 万级音视频推理 SFT 数据都能带来这么多」。

第二，Table 4 的 RL 对照只有 GRPO 和 RLSD。

• DAPO、GSPO 在引言里被点名，未进 Table 4。
• 同为 on-policy self-distillation 的 OPSD（arXiv 2601.18734）和 SDPO（arXiv 2601.20802）未进 Table 4。
• Video-KTR（arXiv 2601.19686）做的正是视频推理里的 key-token 归因，与 MFSD 的 token 级信用分配目标一致，是最该比的 token 级基线，未进 Table 4。

第三，MFSD 自身的组件消融缺失。附录 A.2 只给了代数上的极限（$\beta=0$ 退化为纯 joint-clue 加权、$\lambda=0$ 退化为 outcome advantage），没有跑出来的数字。$\kappa$ 的 EMA 标定、序列内中心化是否必要，都没有实验。

第四，项目主页上链接了 qwen.ai 的 qwen3.8-omni-flash 博客，而论文的出题模型正是 Qwen3.8。同一团队的更新 omni 模型没有进表，原因论文未说明。这一条只记录现象，不做推断。

检索记录：OpenAlex 首次请求即返回「Rate limit exceeded, $0 remaining」，本篇未能用 OpenAlex 查同任务近期工作和引用数。free-search 三次查询返回的都是无关结果（QQ 邮箱、电视剧页面），未提供有效信息。GitHub 检索成功两次，查到 OmniVideo-R1 仓库与本文主页仓库。上面列出的缺失基线均来自论文自己的参考文献表，外部检索未能补充新的候选。

基线年份

基线整体很新，模型侧没有「全是 2025 年以前」的问题。

问题出在类别上：表中所有外部模型都是通用 omni / 视觉大模型，没有一个是「在通用模型上专门做过音视频推理后训练」的工作。论文模型是唯一做过针对性训练的条目，这让它和同量级通用模型比较时天然占便宜。

增益是否超出评测误差

全文没有任何方差、置信区间、多 seed 或显著性检验。Table 4 的每一行都是单次 150 步运行。

下面按二项分布粗估噪声，数值为估算，论文未给出。单模型准确率的 95% 半宽是 $1.96\sqrt{p(1-p)/n}$；两模型之差按不配对的上界再乘 $\sqrt2$（同题配对时实际会更小）。

对照这张表看：

• 对底座的增益（ORBench $+9.3$、OVB $+12.8$）远大于噪声，可以认为真实。
• MFSD 对 RLSD 在 ORBench 上的 $+3.3$ 小于 $\approx4.0$，落在噪声内。OVB / LVOmni 上的 $+4.6$ 只略超上界。再叠加 RL 单次运行本身的 seed 方差，MFSD 优于 RLSD 这个结论的证据强度偏弱。
• beyond video OE 的 $+0.7$ 和 over video OE 的 $+4.2$ 都在各自子集噪声内。

循环评测有三处。

第一，评测集和训练集出自同一个引擎。OmniReasoningBench 的题目与 SFT-112K、RL-19K 都由 OmniQA 生成：同样的 Gemini-3.1-Pro 字幕、同样的 Qwen3.8 出题、同样的 25 类任务模板。论文模型在 ORBench 上的增益，有相当一部分可能来自题型分布对齐。PDF 全文中检索不到 train / test 视频不重叠的说明（关键词 disjoint、held-out、split 均无命中）。

第二，开放题的裁判就是 RL 奖励模型。附录 C 写明：「The same judge and prompt are used for RL rewards and for all open-ended evaluation」，都是 DeepSeek-V4-Flash。RL 直接在优化这个裁判的判定，再用它打分，属于典型的自评闭环。开放题恰好是增益最小的子集，这在一定程度上削弱了「裁判被刷」的担忧，但闭环本身仍是方法缺陷。

第三，捷径筛选所用的模型未说明。第 3.2 节写道：只保留「单模态条件下都答不对、联合条件下答对」的题。用哪个模型做这一步筛选，论文没写。如果是 Qwen 系列，那么 Table 1 里 Qwen3.5-Plus 的 $17.2$ / $8.7$ 就是被筛选过程直接压下去的，不能当作「其他基准存在单模态捷径」的独立证据。附录 E 的例题选项到 H，按 8 选项计随机猜测为 $12.5\%$，Table 6 里 Qwen3.5-Omni-Plus 视觉单模态 MCQ $14.93$ 已经贴近随机。

正向的独立证据来自 Table 2 / Table 3 的四个公开基准。它们与 OmniQA 无关，OVB 的 $+12.8$ 在所有音频类型和时长分组上都为正（Table 3），这是全文最可信的一组数字。

公理审查结果

公理一：对象公理

• 判定: ⚠️
• 分数: 7
• 依据: 问题真实。Table 5 显示，在论文设置中只给视觉输入的 Qwen3.5-Plus 在 WorldSense、Daily-Omni、OmniVideoBench、JointAVBench 上仍有 $57.9$ / $68.8$ / $44.9$ / $60.4$，说明已有基准里不少题不需要音频。Table 6 的配对分析显示联合输入比「任一单模态答对即算对」的 oracle 高 $9.87$–$26.67$ 分，这是对「联合推理」定义较扎实的操作化。扣分在标题：「Pushing the Limits」与结果不符，论文模型在自家基准上低于 Gemini-3.7-Flash $15.1$ 分，低于开源 MiMo-V2.5 $2.1$ 分。
• Wiki 证据: 仓库内既有评审 _paper_reviews/2026-07-11/2607.10299v1.md（长视频 omni 理解）也指出同类工作在 WorldSense 上提升后仍与 Gemini 有约 $12.7$ 分差距、只能声称开源 SOTA，模式一致。OpenAlex 因配额耗尽未能检索。

公理二：识别公理

• 判定: ⚠️
• 分数: 5
• 依据: 优点是闭源对照覆盖面宽，且 Table 4 的 GRPO / RLSD / MFSD 从同一 SFT checkpoint、同样 150 步 × 8 rollout × 256 batch 出发，RL 比较本身是公平的。缺口有三类：同任务训练方法（OmniVideo-R1、OmniVideo-100K、video-SALMONN 2、AV-Reasoner）全部只引不比；Table 4 缺 DAPO、GSPO、OPSD/SDPO 和最相关的 token 级归因方法 Video-KTR；MFSD 没有任何跑出来的组件消融（$\beta$、$\kappa$、中心化）。表中外部模型无一做过音视频推理后训练，比较条件对论文模型有利。
• Wiki 证据: GitHub 检索确认 zhangquanchen/OmniVideo-R1 公开（8 star），可比而未比。free-search 三次查询未返回相关结果。OpenAlex 配额耗尽。

公理三：独立性公理

• 判定: ⚠️
• 分数: 4
• 依据: 自家基准与训练数据同源于 OmniQA（同一字幕模型 Gemini-3.1-Pro、同一出题模型 Qwen3.8、同一任务模板），且未说明 train / test 视频不重叠。开放题裁判与 RL 奖励是同一个 DeepSeek-V4-Flash、同一 prompt（附录 C）。捷径筛选所用模型未披露。这三点让 Table 1 的 $+9.3$ 很难当作独立证据。没有落到 ❌，原因是四个公开基准（Table 2 / 3）提供了与训练信号无关的外部验证，且 OVB 的 $+12.8$ 在所有分组上一致为正。
• Wiki 证据: 无外部检索可补；以上判断全部来自论文正文与附录原文。

公理四：压缩公理

• 判定: ⚠️
• 分数: 6
• 依据: MFSD 相对 RLSD 只改了一处：式 5 中 token 得分 $g_{i,t}=(1-\beta_i)\Delta^{AV}{i,t}+\beta_i\kappa\widetilde S{i,t}$ 多了一项交互项。其中 $S_{i,t}=\ell^{AV}-\ell^{A}-\ell^{V}+\ell^{\varnothing}$ 是四个视图下对数似然的二阶差分，附录 B 证明在联合一致性假设下它等于条件 PMI 的逐 token 增量，原理清楚。不需要额外 rollout 和独立 teacher。扣分在于：每步要多跑三次带完整音视频上下文的打分前向，论文没有报任何训练开销或吞吐数字；$\kappa$ 的 EMA、上限 10、$\lambda$ / $\beta$ 两段 warm-up 让超参数量不少，又没有消融说明哪些必要。
• Wiki 证据: 未检索；依据为论文式 1–6 与附录 A.2 / B。

公理五：效用公理

• 判定: ⚠️
• 分数: 6
• 依据: 对底座的增益真实且超出噪声：OVB $+12.8$（Table 2），在 Music / Sound / Speech 和四个时长分组上全部为正（Table 3）；LVOmni、VMME-v2、VMMMU 各 $+6.1$–$+7.5$。但效用的来源以 SFT 数据为主，OVB 的 $12.8$ 分中 $9.8$ 分来自 SFT（Table 4）。MFSD 对 RLSD 在 ORBench 上的 $+3.3$ 低于按 1,150 题估算的约 $4$ 分差值噪声，且为单次运行。开放题增益很小（$+4.2$ / $+0.7$）。绝对水平上仍不及开源 MiMo-V2.5，因此「能否打过实际可用的替代方案」这一问的答案是：在同量级开源模型里能，在可用的开源模型整体里不能。
• Wiki 证据: 噪声量级为按二项分布的估算，非论文数字；OmniVideoBench 题量按约 1,000 题估计，未经本次检索核实。

公理六：新颖性公理

• 判定: ⚠️
• 分数: 5
• 依据: 三个部件各有前身。评测集的「单模态都答不对才保留」筛选，与 JointAVBench 显式评测跨模态依赖的思路相近。OmniQA 的「时间戳证据链 + clue 出题」与 OmniVideo-100K 的 entity-anchored script 和 clue-guided question 高度相似，论文自己也承认。MFSD 保留 RLSD 的加权、verifier 和目标函数，只新增一个交互项。真正新的是交互项本身及其 PMI 解释，以及「beyond video」这一题型（把视频里学到的规则用到新图或新数值上）。属于扎实的组合加一个小而有原理的增量。
• Wiki 证据: 前身工作的判断来自论文参考文献表与 Related Work 原文；外部检索失败，未能补充更多同期工作。

公理七：可复现公理

• 判定: ⚠️
• 分数: 4
• 依据: 附录 A 给了较完整的超参数（SFT 学习率 $7\times10^{-6}$、全局 batch 128；RL 64 卡、150 步、学习率 $10^{-6}$、KL 系数 $10^{-3}$、$\epsilon_w=0.2$ 等）。论文称 SFT-112K 和 RL-19K 为 “released datasets”，但论文中没有给出数据、代码或权重的具体链接。项目主页 pku-value-lab.github.io/OmniReasoning-Homepage 抓取后只有视频墙和指向 github.com、huggingface.co 根域名的通用链接，没有具体仓库。数据管线依赖 Gemini-3.1-Pro、Qwen3.8、DeepSeek-V4-Flash 三个闭源或内部模型，第三方重跑 OmniQA 的成本很高。
• Wiki 证据: GitHub 检索到 PKU-VaLuE-Lab/OmniReasoning-Homepage（0 star，仅主页）和 omnireasoning/omnireasoning.github.io，均未见代码、数据或权重仓库。

总评

这篇论文的优点很具体。

Table 5 / Table 6 把「已有音视频基准里很多题不需要音频」这件事用数字钉住了，配对 oracle 分析比常见的模态消融更有说服力。OVB 上 $+12.8$ 且在全部分组为正，是一组外部、可信的增益。Table 4 的 RL 比较在同一 checkpoint 和同一预算下进行，公平性好于多数同类工作。MFSD 的交互项改动小，附录 B 给了清楚的数学解释。

主要问题在于证据链和贡献的对应关系。

论文最强的数字来自 SFT 数据，而最弱的证据落在 MFSD 上：MFSD 对 RLSD 在自家基准上 $+3.3$，单次运行、无方差，量级与估算噪声相当，又缺少 Video-KTR、OPSD/SDPO 等更直接的 token 级对照和任何组件消融。数据贡献同样缺少与 OmniVideo-100K、OmniVideo-R1 的等条件对比，无法说明 OmniQA 数据比已有音视频推理数据好多少。

自家基准和训练数据同源、开放题裁判与 RL 奖励同源、捷径筛选模型未披露，这三点让 Table 1 只能当作辅助证据。可复现性停留在「宣称已发布」，正文与主页都没有可用链接。

日报摘要

• Strength: 在论文设置中，以 Qwen3-Omni-30B-A3B 为底座的 OmniVideoBench 准确率从 $37.2$ 升到 $50.0$（$+12.8$），且在全部音频类型与时长分组上一致为正。
• Weakness: 核心方法 MFSD 对 RLSD 在自家基准上只多 $3.3$ 分，单次运行、无方差、无组件消融，且未与 OmniVideo-R1、OmniVideo-100K、Video-KTR 等同任务方法比较。

打分

加权总分: 5.32/10（加权分之和 50.5 / 权重之和 9.5） 最终建议: Borderline