Paper Review: Just A Rather Very Intelligent Spoken Agent

论文类型: benchmark 型（含系统型元素）

论文核心贡献是 JarvisBench——一个评测 long-horizon agent 工作流中”用户-中介-agent” mediation 层的 benchmark，附带一个模块化参考 Jarvis 原型。按 benchmark 型标准审查。

公理审查结果

公理一：对象公理

• 判定: ⚠️
• 依据: “missing middle layer” 是真实问题——long-horizon agent（Claude Code、Cursor、OpenClaw）执行期间用户确实失去对轨迹的感知。mediation 概念可操作化：监控 ReAct 轨迹 + 语音交互 + 在 failure-prone checkpoint 注入用户指导。但”Jarvis-style”叙事包装偏重，实际对象是”执行期用户-agent 通信层”，更偏 UX/工程问题而非科学问题。场景依托 WildClawBench（60 任务 native-runtime，已开源），substrate 真实。但论文用 simulated user 论证”用户需要”，未做任何真实用户研究，问题必要性只停留在作者叙事层面。claim 外延（”always-on spoken mediator”）与实验范围（34 个 text-only 任务、GPT 模拟用户、无真人）严重不匹配。
• Wiki 证据: OMC wiki 无 “agent mediation” / “voice agent benchmark” / “human-in-the-loop” 记录。paper-wiki 收录 τ-Voice (2603.13686) 确认 voice-agent benchmark 是活跃方向；HiL-Bench (2604.09408, arXiv 验证存在) 已研究”agent 何时 ask for help”，说明问题空间被同期工作覆盖。WildClawBench (2605.10912, arXiv 验证) 确认 substrate 真实可靠，Claude Opus 4.7 在 OpenClaw 上仅 62.2%，long-horizon agent 完成度确实低。

公理二：识别公理

• 判定: ⚠️
• 依据: Track 1 用 +Jarvis vs baseline（同 worker）干净隔离 mediation 存在性，但完全没有隔离 为什么 work。无任何 ablation：checkpoint 策略、干预阈值、Jarvis brain 能力、expert user 贡献度、trace 监控 vs 简单摘要——全部混在一起。最简 baseline（如”把最近 N 步 ReAct 原文 dump 给用户，让用户自己写一句话指导”）缺失。# Interv 列显示 34 任务上 16-44 次干预，expert user（GPT-5.4）实际在做有意义的子问题求解——但论文把提升归因于”mediation”，而非”expert user 在解题”。作者自己承认”effectiveness depends strongly on the mediator’s LLM brain”却没有消融该变量。Track 2 固定 worker 变 brain，相对干净，但同样无 dumb-summarizer baseline。
• Wiki 证据: wiki 无 “agent ablation” / “mediation baseline” 记录。paper-wiki 中 τ-Voice 记录显示同类 voice benchmark 通常包含 text baseline 作对比（voice-text gap 30-45%），JarvisBench 未提供类似的 text-only mediation baseline 作为识别锚点。

公理三：独立性公理

• 判定: ❌
• 依据: 严重的闭环污染，对 benchmark 论文是 fatal 级问题：(1) nonexpert user = GPT 模拟；(2) expert user = GPT-5.4；(3) Jarvis brain = GPT-5.4；(4) Track 2 judge = LLM（论文未说明具体模型，但 prompt 由作者设计，极可能同 GPT 家族）；(5) WildClaw 任务完成度本身也由 LLM/VLM judge 评分。整条链路 GPT-judging-GPT、GPT-guiding-GPT、GPT-answering-GPT。零人类锚点：无人类对 expert 指导质量的校验、无人类对 nonexpert 问题自然度的校验、无人类对 judge 评分的校验、无 inter-annotator agreement、无 judge validation study。对 benchmark 型论文，judge 独立性是核心要求，本论文完全不满足。
• Wiki 证据: wiki 无 “LLM judge circular” 记录。paper-wiki τ-Voice 条目使用”controllable voice user simulator”，但也未明确人类校验——说明该子领域普遍存在独立性问题，不构成对本文的豁免。

公理四：压缩公理

• 判定: ⚠️
• 依据: Jarvis 原型是标准组件拼装：streaming ASR + semantic VAD (SoulX-Duplug) + LLM brain + TTS (Chatterbox) + ReAct trace 监控 + checkpointing + dialogue/execution context 分离。每个模块均为已有方法，无新机制。benchmark 协议（双轨、plug-and-play）是合理的结构设计但非深度压缩——未提出新 scaling law、新 trade-off 曲线、新 failure taxonomy。Appendix A.3 的 cross-model failure analysis（GPT-5.5 失败于 exactness、Claude 失败于 safety 边界、Gemini 失败于 schema 格式）是描述性观察，压缩价值有限，且与 WildClawBench 原始分析的边界模糊。”mediator”概念本身是问题 reframing，有一定压缩力，但未提炼出可迁移的原理。
• Wiki 证据: wiki 无对应记录。paper-wiki 中 τ-Voice 已收录”full-duplex voice agent”概念，说明语音 agent 框架并非新对象。

公理五：效用公理

• 判定: ⚠️
• 依据: Track 1 提升 4.86-11.78%，方向一致，但：(a) 仅 34 任务，无方差/置信区间/显著性检验；(b) 最大提升（Gemini +11.64%、Claude +11.78%）发生在 baseline 最低的模型上，可能部分是回归到均值；(c) Claude Opus 4.7 baseline 64.01% 与 WildClawBench 原报告 62.2% 有差异，说明子集选取可能引入偏差。Track 2 绝对值 mediocre：Topic 平均 2.93-3.91/5（最佳仅 3.91），Topic≥4 最高 73.9% 意味着超 1/4 答案不达标；Progress 最好 4.07/5 尚可但未对比 dumb summarizer。Latency 0.69-2.89s 可用。对 benchmark 论文，指标可信度要求更严——而本 benchmark 的指标由未经验证的 LLM judge 产出，效用论证基础薄弱。无 baseline 覆盖度分析（未对比 τ-Voice/EVA-Bench/HiL-Bench 上的任何方法）。
• Wiki 证据: wiki 无 SOTA 记录。paper-wiki τ-Voice 显示 voice-text gap 30-45%，本文未引用此 SOTA 作对比锚点。WildClawBench arXiv abstract 验证 Claude Opus 4.7 = 62.2%，与本文 64.01% 存在 1.8 点偏差，提示子集可能不完全代表整体。

公理六：新颖性公理

• 判定: ⚠️
• 依据: “mediator between user and long-horizon worker”这一具体定位相对新，但处于多个同期工作的交叉点：HiL-Bench（2026-04，agent 何时 ask for help）+ τ-Voice（2026-03，full-duplex voice agent benchmark）+ PROBE（proactive agent）+ WildClawBench（substrate）。JarvisBench = HiL-Bench 的 escalation 思路 × τ-Voice 的语音通道 × WildClawBench 的任务集，组合痕迹明显。参考原型是工程拼装，无新机制。benchmark 协议的 plug-and-play 接口有一定结构性新意，但未提出新评测维度（Progress/Topic 1-5 分是标准 LLM-judge 范式）。Appendix A.3 的 per-model failure pattern 描述略有新意但非论文主线。按 axiom 标准：跨领域迁移 + 组合不算包装，但需证明组合解决了本领域真实问题——本文初步结果支持”mediation 有用”，但未证明组合优于任一组件单独。
• Wiki 证据: wiki 无 “Jarvis mediator novelty” 记录。paper-wiki 收录 τ-Voice 确认 voice agent benchmark 已存在；HiL-Bench arXiv 验证存在且主题重合（selective escalation），发表时间 2026-04 距本文 2026-07 为 3 个月，超出 2 个月 concurrent 窗口，构成相关 prior work，本文 novelty 需在其基础上证明显著增量——论文仅作”complementary”定位，未做直接对比。

公理七：可复现公理

• 判定: ❌
• 依据: 仅提供 demo page (https://cchen1436.github.io/jarvis)，未声明代码、prompt、judge script、user simulator prompt、checkpoint 策略代码、评测脚本开源。重度依赖闭源模型（GPT-5.4, GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro, GPT-OSS-120B, Qwen3），且闭源模型既作 worker 又作 brain 既作 user 既作 judge——核心结论无法独立复现。WildClawBench substrate 本身可复现（Docker + 开源），这是唯一复现性亮点。论文自述”preliminary”，暗示未达到 benchmark 正式发布标准。对 benchmark 型论文，评测脚本不开源是严重缺陷。
• Wiki 证据: wiki 无相关记录。paper-wiki τ-Voice 条目标注”Status: unread”但已收录 arXiv ID，说明该社区方向有论文级可追溯记录；本文连 paper-wiki 都未收录，且无代码链接，复现性低于社区基线。

总评

• 科学价值: 低 — 提出一个真实问题（user-agent mediation gap），但作为 benchmark 论文未提供独立于 GPT 闭环的科学证据，无人类锚点，无 ablation，无法支撑后续研究作为”证据基础设施”使用。
• 方法价值: 低 — 参考原型为已有组件工程拼装，无新机制；benchmark 协议是合理但浅层的结构设计。
• 社区价值: 中 — 问题定位有启发性，plug-and-play 接口若能开源并引入人类校验，有潜力成为该 niche 的标准 benchmark；但当前形态（34 任务、闭源闭环、preliminary、无代码）不足以服务社区。

日报摘要

• Strength: 在 long-horizon agent 生态中首次系统化定义”user-agent mediation”评测问题，双轨协议（task completion + user interaction）结构清晰，Track 1 在 4 个 frontier worker 上均获 4.86-11.78% 一致提升，说明 mediation 介入对任务完成有可测正向效应。
• Weakness: 整条评测链路（user simulator / expert user / Jarvis brain / judge / WildClaw 评分）全部由 GPT 家族闭源模型构成且零人类校验，对 benchmark 型论文构成 fatal 级独立性缺陷；仅 34 任务、无方差与显著性、无 ablation、无最简 baseline、无代码开源，不满足 benchmark 论文更严的证据标准。

打分

加权总分: 3.79/10（加权分之和 36.0 / 权重之和 9.5） 最终建议: Weak Reject