我已经掌握了完整论文（共28页）以及事实锚点。以下是综合评审意见。

Paper Review: Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models

论文类型: Benchmark型 + 方法型

论文同时提出新数据集（SynthSync）、新训练方法（R-GRPO连续策略优化）、和新评测基准（SyncBench），但核心贡献落在 benchmark/evaluator 构建，故以 benchmark 型为主、方法型为辅。

公理审查结果

公理一：对象公理

• 判定: ✅
• 分数: 8
• 依据: 论文指向的对象真实且必要。音频-视觉生成模型的跨模态同步确实是一个被低估的评估维度，现有指标（SyncNet、AV-Align、DeSync、JavisScore）均假设结构正确性，仅做时间偏移检测，面对现代生成模型的结构性幻觉、不对称关系、时序扩散事件确实失效。论文用 Veo-3.1 的两个真实失败案例（图1）说明了问题。SynthSync 数据集的构建逻辑——用10个V2A模型对同一视频生成音频，收集pairwise人类偏好——是合理的实验设计，产生了真实的failure topology。问题定义清晰可操作化：从相对偏好蒸馏出绝对连续标量。
• 一个值得注意的点：论文将此问题框架化为”paradox”（相对人类感知 vs 绝对无参考标量），但这实际上是reward modeling / RLHF领域的标准问题（pairwise preference → scalar reward via Bradley-Terry）。”paradox”一词过度包装了一个已知问题，但底层问题本身是真实的。
• Wiki 证据: OMC Wiki 无记录。free-search 找到 AVBench (arxiv 2605.24652) 和 T2AV-Compass (2512.21094) 为同期/近期同类工作，确认该问题领域正在被社区关注，问题具有研究价值。

公理二：识别公理

• 判定: ⚠️
• 分数: 5
• 依据: 消融实验本身较为完整（Table 4-7, 8-11），分别测试了score表示方式、各组件贡献、reward函数形式、探索方差。但baseline比较存在公平性问题：
  1. Off-the-shelf Omni-LLM baselines（QWen-2.5-3B/7B, Gemini-2.5/3 flash）是零样本评测，未在SynthSync上微调，对比不公平。
  2. Trained baselines（Q-Align, Q-Insight, VQ-Insight）是针对图像/视频质量评估设计的，并非针对AV同步任务，迁移到此处属于领域不匹配的对比。
  3. 最关键的缺失baseline：相同backbone（Qwen2.5-Omni-3B）+ 标准DPO/标准reward model训练 + 相同SynthSync数据。论文的”Ours w/o R-GRPO”（仅BTL PFT）是最近似的公平对比（NDCG 0.9353 vs 0.9435），但R-GRPO的增量仅+0.9% NDCG、+1.7% Pair-Acc，提升幅度有限。
  4. JavisScore（non-LLM, 1.2B）在NDCG上已达0.9284，与本文0.9435差距不大，但JavisScore是为AV同步专门设计的——对比是否在同compute budget下？
• Wiki 证据: OMC Wiki 无记录。free-search 确认GRPO变体已有多个（Pref-GRPO, Scaf-GRPO, MO-GRPO, UDM-GRPO），但均针对离散文本生成，R-GRPO针对连续输出的变体在同期有 arxiv 2507.19555（将GRPO扩展到连续控制），属concurrent work。

公理三：独立性公理

• 判定: ⚠️
• 分数: 5
• 依据: 存在训练-评测闭环问题：
  1. SynthSync同时是训练集和测试集。虽然做了video-level split（1,767 train / 500 test），但评测指标（NDCG, Kendall, Pair-Acc）全部在SynthSync的test split上计算，没有独立的外部验证数据集。
  2. 3组标注者标注同一数据集——组间一致性可提供一定的可靠性验证，但并非独立数据源。
  3. SyncBench（185 prompts）用于benchmarking AV-Gen模型，但SyncBench本身不作为metric的独立验证集——它只是展示metric如何排列已有模型。
  4. BoN cross-metric实验（Table 3）是一个部分独立的验证：用自己的metric选样本，用其他metric评分，显示off-diagonal性能最高。但其他metric本身可能也不可靠。
  5. 没有人类偏好对齐的外部验证——例如在一个完全独立收集的AV同步偏好数据集上测试metric与人类判断的一致性。
• 这不是fatal的循环论证（训练和测试确实分离了），但缺乏独立外部验证使得”SOTA human preference alignment”的声明不够坚实。
• Wiki 证据: OMC Wiki 无记录。

公理四：压缩公理

• 判定: ⚠️
• 分数: 5
• 依据: 方法由多个组件叠加而成，复杂度较高：
  1. 连续projection head替换语言head——合理但简单的改动。
  2. BTL pairwise loss + curriculum pacing——标准preference learning技术的直接应用。
  3. R-GRPO——将GRPO从离散扩展到连续，核心做法是将确定性输出重参数化为Gaussian policy的均值。这是policy gradient中的标准做法（REPARAM trick），并非新机制。
  4. Composite reward有6个加权项（NDCG + Kendall + Spearman + Top1 + Concordance + MRR），权重为(0.25, 0.20, 0.20, 0.15, 0.10, 0.10)——6个超参数，缺乏理论或经验依据说明为何这6个指标的加权组合是最优的。Table 10显示Dual Reward比单一reward好，但6项加权的设计本身是一种任意性较高的工程选择。
  5. “Paradox”的命名膨胀——将标准的preference-to-scalar问题包装为”critical paradox”。
• 论文没有证明为什么这些组件的组合比更简单的替代方案（如直接DPO训练scalar reward）更好。消融显示R-GRPO增量仅+0.9% NDCG，是否值得引入完整的Gaussian reparameterization + listwise rollout + 6项composite reward？
• Wiki 证据: OMC Wiki 无记录。free-search 确认GRPO到连续控制的扩展已有concurrent work (2507.19555)，技术路径并非新颖。

公理五：效用公理

• 判定: ⚠️
• 分数: 5
• 依据:
  1. 绝对性能：Kendall’s τ = 0.49 属于中等相关，并非强相关。Pair-Acc = 72.38% 意味着约28%的pairwise比较仍然错误。Top-1 Acc = 61.40% 意味着约39%的情况无法正确识别最佳候选。这些数字表明metric有一定能力但远未解决问题。
  2. 相对提升：对比最强baseline JavisScore，NDCG +1.6%（0.9284→0.9435），Pair-Acc +4.4%（69.36%→72.38%），Kendall +14.8%（0.4268→0.4899）。Kendall提升最显著，但绝对值仍不高。
  3. 指标覆盖：在所有7个指标上都领先或接近领先，除Bottom-1 Acc外（VQ-Insight 62.80% vs 本文55.00%）。
  4. SyncBench leaderboard：能合理区分闭源模型（Sora-2, Veo-3.1）和开源模型（LTX-2），但这是定性展示而非定量验证。
  5. BoN cross-metric：这是更有说服力的结果——在4个独立metric中3个达到最高off-diagonal性能，表明reward信号有一定通用性。
  6. 缺乏独立外部验证：所有定量结果均在SynthSync test set上，无外部数据集验证。
• Wiki 证据: OMC Wiki 无记录。free-search 确认AVBench (2605.24652) 为同期AV生成评测benchmark，论文未与之对比。

公理六：新颖性公理

• 判定: ⚠️
• 分数: 4
• 依据:
  1. 核心idea——pairwise preference → absolute scalar via BTL：这是reward modeling的标准技术（RLHF中的Bradley-Terry模型），不是新贡献。
  2. R-GRPO——将GRPO扩展到连续输出：技术路径是Gaussian reparameterization，这是policy gradient中的标准工具。同期工作 arxiv 2507.19555 同样将GRPO扩展到连续控制，属concurrent work。论文声称的”novel reinforcement learning framework”更准确的描述是”GRPO的一个自然连续变体”。
  3. SynthSync数据集：这是真正的新贡献——首个由10个V2A模型生成的authentic failure dataset，配合expert pairwise annotation。数据集构建方式（多模型生成同一视频的音频候选）是合理且新的。
  4. Continuous projection head：用MLP替换语言head输出连续值，是简单但合理的架构选择，不构成方法新颖性。
  5. SyncBench：185 prompts的benchmark，但规模较小，且是否真正被社区采纳尚不确定。
  6. 总体来看，新颖性主要来自应用领域（AV同步评测）和数据集（SynthSync），方法本身是已有技术的组合应用。R-GRPO虽然形式上是新的，但技术内核（Gaussian reparameterization + GRPO）是已有技术的直接迁移。
• Wiki 证据: OMC Wiki 无记录。free-search 确认多个GRPO变体已存在（Pref-GRPO 2508.20751, Scaf-GRPO 2510.19807, MO-GRPO 2509.22047, UDM-GRPO 2604.18518），且连续GRPO有concurrent work (2507.19555)。

公理七：可复现公理

• 判定: ⚠️
• 分数: 6
• 依据:
  1. 训练细节充分：lr=1e-6, AdamW, weight decay 5e-2, PPO clip 0.2, KL weight 1e-3, rollout N=12, σ=2.5, 100 epochs, 6 GPUs, batch size 1, K=6, 随机种子42。Appendix A.5提供了详细描述。
  2. 数据来源清晰：VGGSound + FoleyBench test splits，10个V2A模型列表完整（Table 1）。
  3. 标注协议描述：20 expert annotators, 3 groups, ~306K annotations。
  4. Project page存在（https://chenhaoqcdyq.github.io/BeyondTimeShifts）但论文未明确承诺代码/数据开源。
  5. 依赖10个V2A模型——其中部分可能不是开源的（如ByteDance的模型），复现数据集构建可能困难。
  6. 推理成本报告：Table 12报告了latency 0.23s, 10.0G memory, 10.35 TFLOPs，可复现性信息充分。
  7. 评价脚本：metric定义在Appendix A.4中给出完整公式（NDCG, PairAcc, MRR, Top-1, Last-1, Kendall, Spearman），可复现。
• Wiki 证据: OMC Wiki 无记录。

日报摘要

• Strength: 构建了首个真实生成失败AV同步数据集SynthSync（2,267 anchors, 306K pairwise annotations），在BoN跨指标泛化中4个独立metric中3个达到最优off-diagonal性能，确认reward信号的通用性。
• Weakness: 所有定量评测仅在SynthSync test split上完成，无独立外部验证集；R-GRPO相对BTL-only baseline增量仅+0.9% NDCG，引入6项composite reward的工程复杂度与收益不成比例；Kendall’s τ=0.49、Pair-Acc=72.38%表明metric仍有约28%的pairwise判断错误。

总评

• 科学价值: 中 — 识别了AV生成评测中real-to-generative的assumption break，但”paradox”框架是已知reward modeling问题的重新包装。R-GRPO的技术贡献（Gaussian reparameterization of GRPO）是已有技术的自然迁移，且有concurrent work。
• 方法价值: 中 — SynthSync数据集构建方法（多V2A模型生成+pairwise标注）有方法论价值，可迁移到其他模态对。但方法的6项composite reward设计缺乏理论支撑，复杂度较高。
• 社区价值: 中偏高 — SyncBench和SynthSync填补了AV生成评测的空白，如果开源将有助于社区标准化评测。但数据集依赖10个V2A模型（部分可能闭源），实际可复现性存疑。

打分

加权总分: 5.95/10（加权分之和 49.5 / 权重之和 9.5） 最终建议: Borderline 5-6.5

核心判断：论文解决的问题真实且重要，SynthSync数据集有独立价值，但方法贡献（R-GRPO）是已有技术的自然迁移且增量有限，评测缺乏独立外部验证，6项composite reward的任意性未充分论证。如果作者能补充（1）独立外部数据集验证，（2）相同backbone+标准DPO的公平baseline对比，（3）明确代码/数据开源承诺，可提升至Weak Accept。