我已经掌握了足够的事实依据。正在综合撰写审稿意见。核心锚点如下：

1. Earnings-21 (2104.11348): 39 小时，9 个行业，NER 聚焦，fstalign 工具。已通过 free-search 确认。
2. Earnings-22 (2203.15591): 119 小时（125 个文件），全球化，口音聚焦，IWER 分析。论文摘要声称“约 160 小时”——这是论文中的一处事实错误（夸大了约 34%）。
3. SPGISpeech (2104.02014): 5,000 小时训练语料库；SPGISpeech 2.0 (2508.05554, 2025 年 8 月): 多说话人、说话人标记的转录——这是一项未被论文引用的密切相关的同期工作（在 2 个月内，属于同期工作，但论文日期为 2026 年 7 月，因此 SPGISpeech 2.0 应该被引用）。
4. Open ASR Leaderboard (2510.06961, 2025 年 10 月): 跨 12 个数据集的 86 个系统，标准化的 WER/RTFx，明确的长格式音轨。未被引用；这是相关的基准测试基础设施。论文日期为 2026 年 7 月，因此应该引用此项。
5. Parakeet-TDT: Xu 等人，PMLR 2023 — 论文中引用正确。
6. Contextual Earnings-22 (2604.07354, 2026 年 3 月): 具有自定义词汇表的相关同期工作——未被引用，但在 4 个月内，属于相关工作。
7. Whisper (2212.04356): 已在 paper-wiki 中确认。

现在开始撰写审稿意见。

Paper Review: Earnings25: A Comprehensive 500-Hour Speech Benchmark for Finance

论文类型: benchmark 型

Earnings25 是一个面向金融领域 ASR 评测的 benchmark，包含两个互补的测试集（testset-full 498h、testset-segmented 46h），提供对齐转录稿与结构化元数据（speaker roles、industry labels、call structure），并报告 Whisper 与 Parakeet-TDT 的可复现基线。论文的核心贡献是数据集/评测基准，而非新方法或新模型，因此按 benchmark 型论文的更严格标准审查。

公理审查结果

公理一：对象公理

• 判定: ✅
• 分数: 8
• 依据: 论文指向的对象真实且必要。金融收益电话 ASR 是真实的生产场景，存在 jargon 密集、数字密集、口音多样、长音频、说话人切换等已知难点。论文在 §1.1 给出了可操作化的挑战清单（spontaneous+scripted 混合、telephony 压缩、accented English、operator boilerplate）。对象外延与实验验证范围基本一致：作者明确声明仅覆盖英语、主要为 US-domiciled 公司，并将多语种扩展列为 future work（§7），未过度声称 “universal” 或 “general”。指标（WER 四变体）对应目标（转录准确性），未偷换 proxy。speaker/industry-aware 评估维度由提供的元数据真实支撑。问题定义真实、清晰、有社区价值——金融 ASR 是 Bloomberg 等机构的核心业务场景，且现有公开 benchmark 在 metadata 维度确实不足。
• Wiki 证据: OMC wiki 无 ASR benchmark 相关条目。free-search 确认 Earnings-21 (39h, 9 sectors, NER focus)、Earnings-22 (119h, accent focus) 均为真实被引用的公开 benchmark，证明该任务有先行社区基础且确实存在 metadata 缺口（Earnings-21/22 均无 speaker roles / industry classification）。SPGISpeech (5000h) 主要作为训练语料发布，证实论文关于 “现有数据集强调训练而非评测” 的动机成立。

公理二：识别公理

• 判定: ⚠️
• 分数: 5
• 依据: 作为 benchmark 型论文，识别公理的核心问题是：论文是否识别了 ASR 错误的真正来源？论文提供了行业级 WER 分解（Table 5，biotech/pharma WER ~15% vs aggregate 10.8%），并正确指出 aggregate WER 被 high-frequency sectors 拉低、掩盖了 long-tail domain variation——这是一个有效的识别贡献。但识别深度不足：(1) 没有隔离 accent、speaker role、numeric density、jargon density 等潜在原因变量，仅展示了 industry 维度的现象，未做归因分析；(2) 没有 NER 错误率分析，而 Earnings-21 已证明 NER 是金融 ASR 的关键失败模式——论文未沿此线索识别原因；(3) Table 5 自我标注为 “illustrative and not a comprehensive ranking”，即作者承认该表不构成系统性识别证据。论文提供了现象（industry 间 WER 差异），但未识别机制。
• Wiki 证据: OMC wiki 无记录。free-search 确认 Earnings-21 的核心贡献正是 NER 分区错误分析（”ASR accuracy for certain NER categories is poor”），论文未复现或对比该识别维度，存在识别缺口。paper-wiki 中 Whisper 条目确认其 weakly-supervised 训练范式，但论文未分析 Whisper 训练数据分布与金融 domain shift 的因果链。

公理三：独立性公理

• 判定: ✅
• 分数: 8
• 依据: 评测闭环独立性良好。音频来自真实公开收益电话（S&P 500, 2025 Q4），转录稿来自原始公司披露（非模型生成），元数据（speaker/industry）来自真实公司信息。基线模型（Whisper、Parakeet-TDT）均为第三方预训练 checkpoint，未由作者微调，因此评测不依赖作者自己的模型。无 LLM-as-judge，无 synthetic data pipeline，无 reward-evaluation 重叠。WER 计算用标准化 NeMo normalization，是领域标准工具而非作者自定义。forced alignment 用 CTC 做 word-level timestamp 是标准流程，用于 segment 切分而非评分。数据来源、标注、评测三者独立。
• Wiki 证据: OMC wiki 无 judge 独立性相关条目。free-search 确认 SPGISpeech 的转录为 “professionally transcribed”，本文未使用 SPGISpeech 数据，避免了训练-评测数据来源重叠。Parakeet-TDT 为 NVIDIA NeMo 公开 checkpoint，与作者（Bloomberg）无利益耦合。

公理四：压缩公理

• 判定: ⚠️
• 分数: 5
• 依据: 方法论复杂度合理但缺乏压缩价值。corpus 构建 pipeline（industry-stratified sampling → CTC forced alignment → greedy block aggregation → quality filtering → speaker-aware splitting）是标准 ASR 数据工程流程的组合，每个组件都是已有方法（CTC alignment 来自 NeMo，stratified sampling 是统计学标准方法，greedy blocking 是工程实现）。论文没有提出新的 alignment 算法、新的 sampling 理论或新的 segment 质量度量。四个 WER 变体（raw / NeMo-normalized / lowercase-no-punct / combined）是标准 ASR 评测报告格式，非论文创新。论文的核心 “压缩” 是将 498h 原始音频 + 元数据组织成可评测 benchmark，这是数据工程贡献而非科学压缩。命名 “Earnings25” 沿用 Earnings-21/22 命名传统，无命名膨胀。论文没有发现可迁移的经验规律或 trade-off——Table 5 的 industry-level WER 差异是预期现象，不是反直觉发现。
• Wiki 证据: OMC wiki 无记录。paper-wiki 确认 Whisper (2212.04356) 的 weakly-supervised pretraining 是已有方法；free-search 确认 CTC forced alignment 是 NeMo 标准工具。论文各组件均可追溯到已有工具/方法，无新机制。

公理五：效用公理

• 判定: ⚠️
• 分数: 5

• 依据: benchmark 型论文的效用标准是 scenario validity、数据来源、judge 独立性、指标可信度、baseline 覆盖度。逐项检查：

  Scenario validity: ✅ 真实收益电话，真实口音分布，真实行业长尾。

  数据来源: ✅ 498h S&P 500 + 46h industry-stratified，规模合理，Zenodo 公开 (CC BY 4.0)。

  judge 独立性: ✅ 无 judge，WER 标准计算。

  指标可信度: ⚠️ 四个 WER 变体是标准做法，但论文未报告字符错误率 (CER)、NER 错误率、speaker-attributed WER (saWER) 等金融场景关键指标——尽管论文声称 “enabling speaker-aware evaluation”，实际只报告了 aggregate WER，未提供 speaker-role 分层结果。这是声称与交付的 gap。

  Baseline 覆盖度: ❌ 严重不足。仅 4 个模型配置（Whisper base/medium/large-v2 + Parakeet-0.6b-v2）。遗漏的关键 baseline：

  • Whisper large-v3（2023 发布，普遍强于 v2）
  • Canary-1B（NVIDIA，与 Parakeet 同家族但更大）
  • 任何 fine-tuned on SPGISpeech 的模型（领域适配 baseline 完全缺失）
  • 任何 hybrid/HMM 系统（金融领域仍有生产部署）
  • 任何 commercial API（Google/Azure/AWS——Earnings-21/22 均做了 commercial 对比）
  • Contextual Earnings-22 (2604.07354, 2026-03) 的 custom-vocabulary 方法

  baseline 覆盖度不足以支撑 benchmark 的 “comprehensive” 声称。一个 benchmark 如果只覆盖 4 个模型，无法为社区提供有意义的 progress 刻度。

  事实错误: 论文摘要声称 Earnings-22 “approximately 160 hours”，实际为 119 hours (125 files, arXiv:2203.15591 确认)。这是 benchmark 论文中对前作的量化误述，影响可比性论证的可信度。

  遗漏相关 benchmark: Open ASR Leaderboard (2510.06961, 2025-10) 在本文提交前 9 个月发布，跨 12 数据集评测 86 系统，明确包含 long-form track，且使用相同的 NeMo 标准化。论文未引用、未对比、未讨论与该 leaderboard 的关系，未说明 Earnings25 如何补充或改进该平台。SPGISpeech 2.0 (2508.05554, 2025-08) 提供多说话人 speaker-tagged 转录——与本文的 speaker-aware 评估目标直接相关，也未引用。

• Wiki 证据: OMC wiki 无 SOTA 条目。free-search 确认：(1) Earnings-22 实际 119h（论文误述为 ~160h）；(2) Open ASR Leaderboard (2510.06961) 存在且早于本文 9 个月，覆盖 long-form ASR；(3) SPGISpeech 2.0 (2508.05554) 提供 speaker-tagged 转录，与本文 speaker-aware 目标直接相关且早 11 个月；(4) Contextual Earnings-22 (2604.07354) 早 4 个月。paper-wiki 确认 Whisper large-v2 为 2212.04356，但未收录 large-v3。

公理六：新颖性公理

• 判定: ⚠️
• 分数: 4

• 依据: 论文声称的新颖性有三层：(1) 规模——498h 为最大公开金融 ASR 评测集；(2) industry-balanced sampling——testset-segmented 每行业一 segment；(3) rich metadata——speaker roles + industry + call structure。

  规模: SPGISpeech 测试集约 2000h（论文自述），Earnings25 的 498h 并非绝对最大。但 SPGISpeech 测试集设计为训练语料附带，非独立 benchmark，因此 Earnings25 在 “专为评测设计” 维度仍有增量。增量真实但不大。

  Industry-balanced sampling: 这是论文最实质的设计贡献。Earnings-22 明确缺乏 industry balancing（论文正确指出），Earnings25 的 disproportionate stratified sampling 解决了该问题。但 stratified sampling 本身是统计学教科书方法，创新在于将其应用于金融 ASR benchmark 这一举措，属于应用创新而非方法创新。

  Rich metadata: Earnings-21 有 9-sector 标签和 NER 标注；Earnings-22 有 country/accent 标签。Earnings25 新增 speaker roles 和 284-industry 分类，是真实增量。但 SPGISpeech 2.0 (2508.05554) 在 2025-08 已提供 speaker-tagged transcription，早 11 个月，削弱了 speaker metadata 的新颖性。

  整体: 论文是 Earnings-21/22 系列的自然演进，增量真实但偏渐进。核心创新（industry-stratified benchmark + speaker metadata）是已有方法的合理组合，未提出新机制、新问题重构或新经验压缩。benchmark 型论文的新颖性标准应看 “是否开启了之前不可能的分析”——industry × speaker-role 二维 WER 分解确实开启了新分析维度，但论文自身未展示该分析（只报告了 aggregate WER + 单维度 industry 表），削弱了新颖性的实证支撑。

• Wiki 证据: OMC wiki 无记录。free-search 确认 Earnings-21 (2021) 已有 sector 标签和 NER 分析；Earnings-22 (2022) 已有 accent/country 标签；SPGISpeech 2.0 (2025-08) 已有 speaker-tagged 转录。paper-wiki 确认 Whisper 的 multitask 格式是已有创新，本文未在方法层面引入类似级别的新机制。

公理七：可复现公理

• 判定: ✅
• 分数: 8
• 依据: 可复现性是该论文的强项。数据通过 Zenodo 公开 (https://doi.org/10.5281/zenodo.18762168)，CC BY 4.0 许可。采样和 segmentation 使用固定随机种子 (2025)，实验脚本设置 PYTHONHASHSEED=2025 和框架 RNG seeds。解码配置完整记录（Whisper: fixed config, English, no keyword boosting; Parakeet: greedy, no LM）。基线模型均为公开 checkpoint（nvidia/parakeet-tdt-0.6b-v2, OpenAI Whisper）。评测使用标准 NeMo normalization。代码虽未明确提到单独 repo，但解码配置已充分记录，结合公开数据可实现独立验证。唯一限制：音频再分发受原始内容提供方条款约束，用户需自行合规——这是法律层面限制，非技术不可复现。
• Wiki 证据: OMC wiki 无记录。free-search 确认 Zenodo DOI 为持久标识符。paper-wiki 确认 Whisper 模型和推理代码已开源 (2212.04356)，Parakeet-TDT 在 NeMo 开源框架中可用。

日报摘要

• Strength: 498h 真实收益电话 + industry-stratified 46h 分层评测集，配 speaker/industry 元数据与可复现基线（Parakeet-TDT 最低 WER 10.8%），填补了金融 ASR benchmark 的 metadata 缺口。
• Weakness: Baseline 覆盖仅 4 个模型配置，遗漏 Whisper-v3/Canary/SPGISpeech-finetuned/commercial API，且未引用早 9 个月的 Open ASR Leaderboard (2510.06961) 和早 11 个月的 SPGISpeech 2.0 (2508.05554)；声称 speaker-aware 评估却未报告 speaker-role 分层 WER；Earnings-22 时长误述为 ~160h（实际 119h）。

总评

• 科学价值: 低 — 未识别错误机制，未发现可迁移规律，未提出新方法。仅展示了 industry-level WER 差异现象（Table 5 自述 “illustrative”），未做归因。
• 方法价值: 低 — corpus 构建 pipeline 是标准 CTC alignment + stratified sampling + greedy blocking 的组合，无新算法。
• 社区价值: 中 — 填补了金融 ASR 评测的 metadata 缺口（speaker roles + 284 industry categories），Zenodo 公开 + 固定种子支持可复现基线。但 baseline 覆盖不足和关键相关工作的遗漏显著削弱了其作为社区基础设施的即时可用性。

核心问题: 论文标题声称 “Comprehensive”，但 4 个 baseline 配置不足以支撑该声称。一个 benchmark 的价值部分取决于其能否为社区提供 progress 刻度——当 86 个系统已在 Open ASR Leaderboard 上被评测时，Earnings25 仅提供 4 个数据点，且未与该平台对接。论文需要补充至少 Whisper large-v3、一个 SPGISpeech-finetuned 领域适配模型、和一个 commercial API，并将 Earnings25 注册到 Open ASR Leaderboard 框架中，才能真正实现 “comprehensive” 的声称。

打分

加权总分: 5.47/10（加权分之和 54.5 / 权重之和 9.5） 最终建议: Borderline 5-6.5