我已获取完整数据。论文已全文阅读（HTML：引言、相关工作、包含 ASD/HCM/ADM 在内的方法、损失函数、包含表 1-8 和附录 A-B 在内的实验、消融实验、可视化、局限性）。已对 OMC Wiki（无记录）、paper-wiki（无记录）及免费搜索（找到 AVISM CVPR’25、ACVIS ICASSP’26、AVS-Mamba、SeaVIS、Learning What to Hear ICASSP’26）进行了查询。现已有足够信息输出评审。

Paper Review: Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation

论文类型: 方法型

公理审查结果

公理一：对象公理

• 判定: ✅
• 依据: AVIS 任务真实存在，由 AVISM (Guo et al., CVPR 2025) 首次提出并建立 AVISeg benchmark。论文针对的两个核心问题——混合音频到视觉实例的对应关系、音视时序异步下的跟踪——在 AVISeg 数据集的 multi-source 场景 (FSLAm) 和异步子集中均有量化体现。概念可操作化：”mixed audio → disentangled sources → hierarchical semantic-to-spatial correspondence” 和 “audio-modulated Δ for state-aware tracking” 均有明确定义和实现路径。指标 mAP/HOTA/FSLA 直接对应任务目标，非代理指标。论文声称的零样本泛化能力在 AVSS 数据集上得到验证 (class-agnostic binary metrics J 和 F)。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 AVIS 任务由 CVPR 2025 论文 (arXiv:2310.18709) 提出，ACVIS (ICASSP 2026) 和 “Learning What to Hear” (ICASSP 2026) 为同期工作，任务对象被多个独立团队研究，确认真实性和社区关注度。

公理二：识别公理

• 判定: ⚠️
• 依据: 论文有 ablation study (Table 3: ASP 和 ADM 逐步添加；Table 4: ASD vs cross-attention vs 无 ASD；Table 6: 调制 Δ vs B vs C；Table 7: +MixIT naive vs H2S full；Table 8: MixIT 预训练数据影响)。变量隔离较好。但存在缺口：(1) Table 1 主对比中 ResNet50-IN backbone 下 H2S 的 mAP 为 43.21，仅比 AVISM (40.57) 高 2.64，比 ACVIS (42.14) 高 1.07——但 ACVIS 作为同期最强 baseline，差距较小且论文未提供 ACVIS 在 COCO 预训练下的详细数据用于对比。(2) 论文声称 +7.8% 提升是 COCO 预训练下对比 AVISM 的结果，但 ACVIS 在 COCO 预训练下 mAP 为 46.68，H2S 为 48.54，实际差距仅 1.86 mAP。(3) 混合音频分离 (ASD) 使用外部预训练 MixIT 模型，虽然 Table 8 证明换 AVISeg 预训练 MixIT 后性能差异仅 0.08 mAP，但 MixIT 分离质量本身是性能上限的瓶颈，论文未讨论分离失败情况的影响。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 ACVIS (ICASSP 2026) 是同期 AVIS 方法，其 COCO 预训练 ResNet50 下 mAP=46.68，是论文实际最强对比对象。论文 +7.8% 的声称基于 AVISM 而非 ACVIS，有选择最强 baseline 声称提升的嫌疑。

公理三：独立性公理

• 判定: ✅
• 依据: 评测使用 AVISeg 公开 benchmark (由 AVISM 团队构建)，评测指标 mAP/HOTA/FSLA 均为标准客观指标，不依赖主观 judge。训练和评测数据分离 (616 train / 105 val / 205 test)。MixIT 预训练于 YFCC100M，与 AVISeg 测试集无重叠。零样本泛化测试在 AVSS 数据集上进行，跨数据集验证独立性良好。Table 8 排除了外部数据先验的干扰。无循环论证风险。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 AVISeg 数据集由独立团队 (Guo et al.) 发布，评测协议公开透明。

公理四：压缩公理

• 判定: ⚠️
• 依据: 方法由两个核心模块组成 (ASP + ADM)，每个模块有清晰的功能定位和设计动机。ASP = MixIT (frozen, 外部) + k-means 聚类 + Top-p 过滤 + 稀疏矩阵乘法——本质是将已有音频分离模型接入 segmentation pipeline，用聚类降低 attention 计算量。ADM = Mamba + audio-gated Δ modulation——核心创新是用音频信号调制 Mamba 的 Δ 参数而非 B/C。问题在于：(1) ASP 中的 k-means 聚类 + Top-p 过滤是标准 NLP/CV 中已有的 sparse attention 技术，论文将其包装为 “Hierarchical Correspondence Mechanism”，存在命名膨胀。(2) ASD 完全依赖外部 MixIT 模型，非论文贡献。(3) ADM 的 audio-gated Δ modulation 是一个简洁的设计，但论文未给出为什么 Δ 比 B/C 更好的理论解释，仅靠 Table 6 的实验结果回溯支持。整体复杂度适中，但非极简。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 AVS-Mamba (arXiv:2501.07810) 已将 Mamba 用于 audio-visual segmentation，但该工作是 AVS (非 instance-level) 且未使用 Δ modulation。AlignMamba (CVPR 2025) 探索了 multimodal Mamba 的 cross-modal alignment。论文的 Δ modulation 角度在 AVIS 领域确实是新探索。

公理五：效用公理

• 判定: ⚠️
• 依据: 绝对性能：COCO ResNet50 下 mAP=48.54，Swin-L COCO 下 mAP=55.38。相对提升：对比 AVISM (COCO R50: 45.04 mAP)，+3.50 mAP，显著；对比 ACVIS (COCO R50: 46.68)，+1.86 mAP，中等。但关键问题：(1) Table 1 中 IN-R50 设置下 H2S 的 FSLAm (multi-source) 为 34.97，低于 SDAVS 的 51.46 和 AVISM 的 52.40——这是因为 Table 1 使用 IN 预训练而 SDAVS/AVISM/ACVIS 的 FSLAm 列可能使用了不同设置。实际上仔细检查 Table 1，H2S 的 FSLA=45.96 高于所有 VIS 和 AVSS 方法，但低于 AVISM (42.78→看表有误)。重新核对：Table 1 (IN-R50) 中 H2S FSLA=45.96, HOTA=63.32, mAP=43.21，AVISM FSLA=42.78, HOTA=61.73, mAP=40.57，ACVIS FSLA=42.87, HOTA=62.09, mAP=42.14。H2S 在 FSLA 和 mAP 上领先，HOTA 也最高。(2) 异步子集上 +14.09 mAP 的提升令人印象深刻，但子集构建标准未详细说明（多少视频？如何定义”asynchronous”？）。(3) 计算开销仅 +2.4% GFLOPs，FPS 从 29→26 (R50)，效率可接受。(4) 仅在单一数据集 AVISeg 上评测，泛化性验证仅限零样本 AVSS binary metrics，缺乏多数据集全面验证。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 AVISeg 是目前唯一的 AVIS benchmark，在该数据集上的对比是标准做法。ACVIS 为同期最强 baseline，论文在 Table 2 中有对比但在 Table 1 中未将 ACVIS 的 COCO 预训练结果列入（Table 2 中 ACVIS COCO R50: mAP=46.68 vs H2S 48.54）。

公理六：新颖性公理

• 判定: ⚠️
• 依据: 两个组件的新颖性需分别评估。(1) ASP：使用 MixIT 进行音频分离是已有技术的直接应用 (MixIT 本身发表于 2020 年)，k-means 聚类 + sparse attention 是标准技术。将二者组合用于 AVIS 有应用创新但非机制创新。论文 Table 7 证明 naive MixIT concatenation 反而降低性能 (mAP 45.04→44.42)，说明 ASP 的 HCM 设计确实必要——这提供了组合必要性的证据。(2) ADM：audio-modulated Δ 是一个真实的机制创新。已有 multimodal Mamba 工作 (AVS-Mamba, AlignMamba, LEAF-Mamba, MSFMamba) 主要交换 B/C 参数或设计扫描策略，论文选择调制 Δ (控制状态转移速度) 来感知音视异步动态，这是一个新的角度。Table 6 证明 Δ modulation 优于 B/C modulation，特别是对 HOTA (tracking accuracy) 提升显著。但论文未提供理论分析说明为何 Δ 更适合，仅依赖实验结果。整体来看，ASP 是 A+B 组合 (MixIT + sparse attention)，ADM 有真实机制创新，两者有协同 (Table 3: ASP+ADM > either alone)。
• Wiki 证据: OMC Wiki 无记录。free-search 确认：(a) AVS-Mamba (TMM 2025) 使用 Mamba 做 AVS 但未涉及 Δ modulation；(b) AlignMamba (CVPR 2025) 做 multimodal Mamba alignment 但非 Δ modulation；(c) MixIT (2020) 是成熟音频分离方法。ADM 的 Δ modulation 角度在 AVIS 领域未被 prior work 覆盖，ASP 的组合方式也属新应用，但各自组件均有明确已有来源。

公理七：可复现公理

• 判定: ⚠️
• 依据: 论文承诺开源代码 (https://github.com/leiyeliu/H2S)，但当前未公开 (标注 “once accepted”)。训练细节充分：48,000 iterations, AdamW, lr=0.0001, batch=2, 5 frames/sample, 两块 RTX 6000。数据集 AVISeg 公开可获取。关键依赖项：MixIT 预训练模型 (YFCC100M) 和 VGGish (AudioSet) 均为公开模型。超参数完整列出 (Na=8, Cka=Ckv=8, p=[0.7,0.8,0.9])。但：(1) 代码尚未公开，无法验证实现细节；(2) MixIT 分离模型的输出 (分离源数量 Na=8) 对性能的影响未充分讨论；(3) 异步子集的构建标准未详细描述，无法独立复现该子集上的 46.75 mAP 结果。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 AVISeg 数据集已在 GitHub (ruohaoguo/avis) 公开，MixIT 和 VGGish 均有公开实现。但 H2S 代码仓库当前为空或不存在。

日报摘要

• Strength: ADM 通过音频调制 Mamba 的 Δ 参数实现异步状态感知跟踪，在异步子集上获得 46.75 mAP（较 AVISM +14.09 mAP），是一个真实的机制创新。
• Weakness: ASP 核心依赖外部 MixIT 模型且 k-means+sparse attention 为标准技术组合；论文声称的 +7.8% 提升基于 AVISM 而非同期最强 ACVIS（实际差距仅 +1.86 mAP），且仅单一数据集验证、代码尚未公开。

总评

• 科学价值: 中 — ADM 的 Δ modulation 提供了 Mamba 在多模态异步动态建模中的新视角，但缺乏理论解释；ASP 是已有技术的应用组合。
• 方法价值: 中 — 两个模块协同有效 (Table 3)，计算开销小 (+2.4% GFLOPs)，但 ASP 的贡献主要在工程集成而非机制创新。
• 社区价值: 中 — AVIS 是新兴任务 (CVPR 2025 提出)，H2S 推动了该方向的 SOTA，代码承诺开源将有助于社区跟进，但单一数据集验证限制了结论的普适性。

打分

加权总分: 5.95/10（加权分之和 59.0 / 权重之和 9.5） 最终建议: Borderline 5-6.5