我已经掌握了所有需要的信息。现在我将输出最终的结构化审查报告。

论文审查：DuplexWorld: 语音智能体能帮你度过每一天吗？

论文类型: Benchmark 型

本文构造了一个全双工语音智能体的统一评测基准，涵盖六个“世界”（银行、保险、旅行、医疗、物流、寻路）、11 种对话类型、156 个场景、3825 次对话，使用 12 指标三支柱体系（对话动态、智能体能力、自然度）对 5 个商用实时语音系统进行了评测。核心贡献是基准本身及其评测发现。

公理审查结果

公理一：对象公理

• 判定: ✅
• 分数: 8
• 依据: 论文研究的对象——全双工语音智能体在真实日常任务中的综合能力——是真实且日益重要的。论文明确指出当前基准的两个缺口：(1) 现有基准（τ-bench, τ²-bench, FDB v1-v3, τ-Voice, EVA-Bench 等）主要测试“对数据库的工具调用”，未充分覆盖日常对话的多样性；(2) 从未测试“超越数据库操作”的任务。Pathfinding（导航世界）是对这一缺口的直接回应：智能体不持有执行器，世界在对话间隙自行推进，正确性是感知性的而非机构性的——这是一个真实、清晰、可操作化的新评测维度。论文在 Table 1 中系统对比了 11 个已有基准，确认了其声称的 8 个维度覆盖（全双工动态、智能体任务、自然度、可靠性 Passk、模拟器验证、框架敏感性、导航世界）在已有工作中均未被同时覆盖。场景设计有明确的问题真实性：银行/保险/医疗/物流/旅行均对应真实企业客服场景，导航对应真实行人导航需求。指标对应目标：GS（目标状态检查）直接验证世界终态，非代理指标；TT（轮次转换）有未回答轮次归零规则，避免“沉默取胜”漏洞。Pathfinding 的 η≥0.75 效率阈值有 Table 9 敏感性分析确认排序不依赖阈值选择。论文声称“最广覆盖”（156 场景，11 类型）在 Table 1 对比中成立。
• Wiki 证据: OMC Wiki 无相关记录。free-search 确认 τ-Voice (2603.13686)、EVA-Bench (2605.13841)、FDB-v3 (2604.04847)、VoiceBench (TACL’26) 均为近期发表的同领域基准，验证了论文的 prior work 对比框架。τ-Voice 覆盖 278 个 grounded tasks 但无导航；EVA-Bench 覆盖 213 企业场景但无导航；FDB-v3 使用真实人类语音但无目标导向任务。论文的缺口论证成立。

公理二：识别公理

• 判定: ⚠️
• 分数: 6
• 依据: 论文作为 benchmark 型工作，核心“识别”任务是区分哪些能力维度真正独立、哪些指标真正有诊断力。在这方面论文做了有价值的工作：(1) 明确展示了“对话能力 ≠ 任务完成能力”——Nova 2 Sonic 在轮次转换和选择性上领先，但任务完成近乎零；(2) “声学质量 ≠ 能力”——MOS 预测器与奖励的相关性平坦到负；(3) π⁻（努力不足份额）是失败的最强过程预测器（ρ=−0.85），且不能通过沉默获胜。这些发现确实是识别性的。但存在缺口：(1) Pathfinding 同时引入了三个新变量（谁持有执行器、智能体能观察什么、世界是否在对话间推进），论文自己在 Limitations 中承认“no single demand is separately identified”——这意味着 Pathfinding 的任何结果都无法归因到单一原因，识别公理在导航世界上不满足；(2) 5 个系统中 4 个“活跃”系统均来自不同供应商，无法做同家族控制对比（GPT-Realtime-2.1 vs mini 是唯一同家族对比，但 mini 的 385 个无因子分解回合被排除，引入了 outcome-correlated exclusion）；(3) 噪声/信道效应未与系统身份交叉（企业世界仅运行 realistic 信道）。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 EVA-Bench 已发现“无系统同时擅长任务准确率和对话体验”，论文的“对话≠任务”发现在 EVA-Bench 中已有先例，但 DuplexWorld 通过 Nova 2 Sonic 的案例给出了更尖锐的机制解释（沉默可赢对话但不可赢导航）。

公理三：独立性公理

• 判定: ⚠️
• 分数: 5
• 依据: 这是本文最需要关注的公理。评测闭环存在多层依赖：(1) 用户模拟器使用 gpt-5.6-luna，决策模型使用 claude-haiku-4.5，judge 模型使用 gpt-5.2/claude-opus-4.6/grok-4.3——被评系统包括 GPT-Realtime-2.1、Gemini-3.1-Flash-Live、Grok Voice Think Fast 等，judge 与被评系统来自同一供应商家族，存在潜在的同族偏好风险。(2) 论文未进行 judge 中立性 ablation（如跨供应商 judge 交叉验证）。(3) 语音合成使用 ElevenLabs 生成所有 caller/walker 语音，用户模拟器的语言模型也是同一 gpt-5.6-luna，数据和评测都依赖闭源 API。(4) 论文承认“judge-based metrics 在本语料上未重新验证与人类评分的一致性”，仅引用了原始工具在其源设置中的验证。然而也有独立性方面的积极设计：(1) GS（目标状态检查）是确定性哈希比对，不依赖 LLM judge；(2) Passk 来自 τ-bench 的确定性框架；(3) MOS 预测器是无参考客观指标；(4) 论文明确声明“从未形成复合分数”，避免了加权聚合的主观性。核心结论（系统排序、能力分离）主要依赖 GS 和 Pass@1，这两个指标独立性较强；但 CP、FAI、NLA 依赖 LLM judge，其结论（如“对话能力与任务能力分离”）可能受 judge 偏好影响。
• Wiki 证据: OMC Wiki 无“LLM judge 独立性”记录。free-search 确认 EVA-Bench 同样使用 LLM judge 且同样未在语料上重新验证人类一致性，这是领域共性问题而非本文独有缺陷，但本文的 judge-被评同族问题比 EVA-Bench 更突出（EVA-Bench 主要评估开源系统）。

公理四：压缩公理

• 判定: ✅
• 分数: 8
• 依据: 论文在压缩方面表现突出。(1) 统一框架：一个 harness、一个 12 指标体系、一个配置跑六个世界——这是对先前基准碎片化的真实压缩。τ-Voice 有 278 任务但仅 3 个域；EVA-Bench 有 213 场景但无导航；FDB 有轮次转换但无任务验证。DuplexWorld 将这些纳入单一套件。(2) 11 种对话类型是“形状而非难度级别”——这是一种抽象压缩，允许跨世界比较同一种交互结构。(3) 发现了可靠、可迁移的经验规律：探索份额与成功率负相关（ρ=−0.80）；声学质量与能力无关；系统排序跨世界几乎冻结但绝对值跨度 0.200–0.674；Pass@1 与 Pass3 比值揭示失败是场景集中的而非随机的。(4) “沉默可赢对话但不可赢导航”是一个反直觉但可靠的发现，压缩了对语音智能体能力的理解。(5) 论文没有命名膨胀——所有术语（world, type, scenario, channel, trial, pillar）在 Table 5 中有明确的一词一级定义，且与已有术语对接。负面检查：harness 本身被明确声明为“infrastructure rather than contribution”，没有把框架包装成核心创新。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 prior work 的碎片化——τ-bench/τ²-bench 做文本 agent、FDB 做轮次、τ-Voice 做语音+任务、EVA-Bench 做语音+体验——DuplexWorld 的统一确实是压缩增量。

公理五：效用公理

• 判定: ⚠️
• 分数: 6
• 依据: 作为 benchmark 型论文，效用标准看场景有效性、数据来源、judge 独立性、指标可信度、baseline 覆盖度。(1) 场景有效性：5 个企业世界有明确的 governing regime（金融犯罪法规、合同拓扑、隐私法等），场景由作者多轮迭代设计，遵循 τ-bench 和 EVA-Bench 的任务设计纪律——有效性较高。Pathfinding 的 8×8 网格有两条 superblock 使朴素直角推理失败，设计合理。(2) 数据来源：所有数据由作者自创，无第三方数据，电话编解码 G.711 是真实标准——数据来源透明。(3) Baseline 覆盖度：评估了 5 个商用系统（Nova 2 Sonic, Gemini-3.1-Flash-Live, GPT-Realtime-2.1, GPT-Realtime-2.1-mini, Grok Voice Think Fast），覆盖了 2026 年 8 月的主要商用实时语音 API。但全是闭源商用系统，无开源系统对比——这意味着基准的可复现性和社区可用性受限。(4) 指标可信度：12 指标中 4 个（GS, Pass@1, Pass@3, Pass3）确定性计算，可信度高；3 个动态指标中 TT 从 EVA-Bench 逐字移植，SEL 有注入时写入的 gold label——可信度中高；4 个自然度指标中 MOS 预测器是标准工具但未在本语料验证；CP 和 FAI 依赖 LLM judge，可信度中等。(5) 关键效用问题：所有系统的 Pass@1 均 ≤0.490，最好系统的 Pass3 仅 0.144——这意味着当前系统在基准上普遍表现很差。对 benchmark 论文而言，如果基准太难以至于无法区分系统间的细微差异（floor effect），其效用受限。但论文通过 effort 指标、探索份额、credential WER 等辅助指标提供了区分度，部分缓解了这个问题。(6) Pathfinding 仅 45 次对话/系统/信道，统计 power 有限——论文自己也承认“headline cells rest on 45 conversations”。
• Wiki 证据: OMC Wiki 无 SOTA 记录。free-search 确认 τ-Voice 评估了 4 个系统、EVA-Bench 评估了 5 个系统（含开源），DuplexWorld 的 5 系统覆盖度与 EVA-Bench 相当但全闭源。论文未引用 VoiceBench (TACL’26)，这是一个同期 benchmark，但其覆盖维度（LLM-based voice assistant，无全双工）与 DuplexWorld 差异较大，不构成遗漏关键 baseline。

公理六：新颖性公理

• 判定: ✅
• 分数: 8
• 依据: 新颖性增量来自三个真实贡献：(1) Pathfinding 世界：这是首个面向全双工语音智能体的导航世界。信息不对称设计（智能体持有地图但不持有朝向，walker 持有位置但不知网格）是真实的、新颖的，且确实测试了“超越数据库操作”的能力。论文明确指出 prior work 中“agent 操控、记录系统裁决、utterance 之间什么都不发生”——Pathfinding 打破了这一假设（世界在沉默中移动）。这不是已有方法的换名或拼装。(2) 统一评测套件：将对话动态、智能体能力、自然度三个支柱纳入单一 harness 和单一指标体系，跨 6 个世界运行相同代码——这在 Table 1 对比中确实无先例。τ-Voice 无自然度支柱，EVA-Bench 无 Passk 可靠性，FDB 无智能体任务。(3) 分析发现：“探索越多到达越少”、“沉默可赢对话但不可赢导航”、“声学质量不预测能力”——这些是可靠、可迁移、部分反直觉的经验规律，具有压缩价值。需注意的减分项：(1) 5 个企业世界在域覆盖上与 τ-Voice 和 EVA-Bench 有重叠（银行、保险、旅行），虽类型系统和指标体系不同，但“六世界中五个是企业客服”并非全新场景。(2) harness 明确声明继承自 τ²-bench 和 EVA-Bench，自身新增仅 5 处工程改动，论文诚实声明“harness is infrastructure rather than a contribution”——不构成新颖性膨胀。
• Wiki 证据: OMC Wiki 无记录。free-search 确认无已有语音智能体导航基准存在（NavBench 评估 MLLM 的导航理解，但非全双工语音交互）。Pathfinding 是真实的领域空白。

公理七：可复现公理

• 判定: ⚠️
• 分数: 5
• 依据: 论文在可复现性方面有明确的积极和消极因素。积极：(1) 声明以 CC BY 4.0（数据）和 MIT（代码）发布场景语料、标注和评测代码；(2) 所有 11 种对话类型、156 场景的 gold action list、per-scenario reward basis、persona inventory、distractor gold labels、judge prompts、ϕκ 常数均随发布提供；(3) 项目页面 duplexworld.github.io 存在；(4) 运行统计透明（Appendix P：387 小时、3825 对话）。消极：(1) 核心评测对象全是闭源商用 API——5 个被评系统均为专有服务，无权重分发，无 dated snapshot identifier（论文承认供应商不返回日期快照 ID），系统版本可能随时间漂移，任何复现都可能因 API 更新而得到不同结果。(2) harness 侧模型（gpt-5.6-luna, claude-haiku-4.5, gpt-5.2, claude-opus-4.6, grok-4.3）和语音合成（ElevenLabs）也全是闭源 API，复现需要付费访问且版本同样可能漂移。(3) 论文承认“corpus totals 387 hours of simulated speech”来自付费推理——复现成本已知但非零。(4) 未提供开源系统 baseline，使得无法用开源系统验证基准的可复现性。论文在 Ethics Statement 中诚实地指出“every number comes from paid inference against commercial realtime APIs”，这是透明的。对于 benchmark 论文，全闭源被评系统是严重但非致命的可复现缺陷——场景和评测代码的开源允许社区在新系统可用时重跑，但无法验证论文报告的原始数字。
• Wiki 证据: OMC Wiki 无记录。free-search 确认 EVA-Bench 评估了开源系统且提供了开源 harness，可复现性优于 DuplexWorld。τ-Voice 同样评估商用系统但代码开源。

日报摘要

• Strength: 首个面向全双工语音智能体的导航世界（Pathfinding）加五个企业世界统一在单一 harness 和 12 指标三支柱体系下评测 5 个商用系统，发现“沉默可赢对话但不可赢导航”“探索越多到达越少”“声学质量不预测能力”等可靠、可迁移、部分反直觉的经验规律。
• Weakness: 全部被评系统和全部 harness 侧模型均为闭源商用 API 且无 dated snapshot，复现性严重受限；Pathfinding 同时引入三个新变量且无单独识别；LLM judge 与被评系统存在同供应商家族的潜在偏好风险，未做 judge 中立性 ablation。

总评

• 科学价值: 中 — 发现了可靠、可迁移的经验规律（能力分离、探索-到达负相关、声学质量与能力无关），但 Pathfinding 的变量混淆和 LLM judge 同族问题限制了因果识别力。
• 方法价值: 中高 — 统一评测套件和 11 种对话类型分类法是真实的压缩贡献，Pathfinding 世界是真实的领域空白填补。
• 社区价值: 中高 — 基准覆盖度领先（156 场景，6 世界，11 类型），数据和评测代码以宽松许可开源；但全闭源被评系统限制了社区即时可用性。

打分

加权总分: 6.32/10（加权分之和 63.0 / 权重之和 9.5） 最终建议: 弱接受 6.5-8

说明：加权总分 6.32 落在 Borderline (5-6.5) 区间上端，紧邻 Weak Accept 下界。考虑到 Pathfinding 世界作为首个语音智能体导航基准的真实新颖性、统一三支柱体系的压缩价值、以及“沉默可赢对话但不可赢导航”这一对社区有实际部署指导意义的发现，倾向给出 Borderline+，接近 Weak Accept 的评定。主要扣分项——全闭源被评系统的可复现性、Pathfinding 变量混淆、LLM judge 同族风险——是可通过后续工作改善的工程性问题，而非设计缺陷。