EvoAudio 是一个面向音频理解的闭环自训练系统。每一轮由 DeepSeek-V4-Flash 读取当前 LALM 在 47 类技能上的表现，决定下一轮练什么、难度往哪调；再由 24 个音频工具（Qwen3-TTS、LeVo、FluidSynth、混音、变速变调等）合成波形和题目，答案由构造过程或原始数据标签给出，经声学复测和纯文本探针过滤后用 GRPO 训练，最后在固定的 2,500 题 held-out 集上决定是否晋级。论文在五个骨干上跑 13 轮，报告 MMSU、MMAU-Pro、MMAR 三项平均最高提升 $6.3$ 分。
主表是 Table 2。在论文设置中，只有 Qwen2.5-Omni-7B、Audio Flamingo 3、Kimi-Audio-7B-Instruct 三个骨干有完整的对照组，MiMo-Audio 和 MiniCPM-o 4.5 只报了 Base 和 EvoAudio (GRPO) 两行。
三项平均（Avg.）对比如下：
| 骨干 | Base | 最强对照（Static-profile GRPO） | EvoAudio (GRPO) | 对 Base | 对最强对照 |
|---|---|---|---|---|---|
| Qwen2.5-Omni-7B | 59.3 | 62.8 | 65.4 | $+6.1$（$+10.3\%$） | $+2.6$（$+4.1\%$） |
| Audio Flamingo 3 | 58.4 | 60.3 | 62.7 | $+4.3$（$+7.4\%$） | $+2.4$（$+4.0\%$） |
| Kimi-Audio-7B | 53.3 | 58.1 | 59.6 | $+6.3$（$+11.8\%$） | $+1.5$（$+2.6\%$） |
| MiMo-Audio-7B | 58.8 | 无 | 64.2 | $+5.4$（$+9.2\%$） | 无 |
| MiniCPM-o 4.5 | 64.5 | 无 | 65.9 | $+1.4$（$+2.2\%$） | 无 |
对 Base 的增益大部分来自 GRPO 训练本身。Static-profile GRPO 用同样的工具库、同样的每轮 solver 过滤、同样的预算，只把技能配比和难度冻结在 base 模型的画像上，就已经拿到了 $+1.9$ 到 $+4.8$ 分。真正归属于「自适应课程」的部分，是 EvoAudio 与 Static-profile 之间的差，三个骨干上分别是 $2.6$、$2.4$、$1.5$ 分，论文自己给的均值是 $2.1$ 分（Sec. 3.2）。
分 benchmark 看，增益集中在 MMSU。Qwen2.5-Omni 上 MMSU All 从 $61.4$ 到 $71.9$（$+10.5$），MMAU-Pro 从 $56.4$ 到 $60.8$（$+4.4$），MMAR 从 $60.2$ 到 $63.5$（$+3.3$）。我按 Table 2 复算了 Sec. 3.3 的跨骨干均值：MMSU $+6.0$、MMAU-Pro $+5.0$、MMAR $+3.0$。论文给的 MMSU 是 $+6.1$，它用的是 attempt 13，与 Table 2 的最终晋级模型可能不是同一个 checkpoint，差 $0.1$ 在这个范围内。
有几处数字和论文的解释对不上。
第一，Qwen2.5-Omni 的 MMAR Culture 从 $58.9$ 涨到 $69.4$（$+10.5$），是该骨干 MMAR 各子类中涨幅最大的一项。而论文在 Sec. 3.3 说 MMAR 的「semantic and cultural reasoning lies mostly beyond what they [tools] can build」。工具库造不出文化类题目，文化类却涨得最多，论文没有解释。MMAR 全集只有 1,000 题（MMAR 原文摘要），Culture 是其中一个子层，样本更少，这个 $+10.5$ 很可能主要是噪声。
第二，Kimi-Audio 的 MMAU-Pro Sound 从 $37.1$ 涨到 $56.9$（$+19.8$），MiMo-Audio 从 $38.3$ 到 $51.6$（$+13.3$）。两个 base 的 Sound 分数远低于同表其他骨干（45–50），而论文规定「Invalid predictions count as incorrect」。一种可能的理解是，这部分增益有相当比例来自输出格式变得可解析，而非声学感知变强。论文没有报告各模型的 invalid 比例，这一点无法排除。
第三，MiniCPM-o 4.5 的 MMAR Percep. 从 $63.4$ 降到 $60.0$（$-3.4$），MMAU-Pro Speech 和 Music 也小幅下降。在最强的 base 上，方法基本只剩 MMSU 的 $+4.0$。
Table 2 里所有「方法基线」都是作者自己构造的消融式对照（Static-profile GRPO、Pooled GRPO、EvoAudio (SFT)）。没有任何一个外部发表的 LALM 后训练方法进入主表。
按论文提交时间（2026-09）和论文自己在 Introduction 里引用的工作，下面这些应该出现：
| 应比基线 | 时间 | 为什么该比 | 可比性 | 论文是否比 |
|---|---|---|---|---|
| R1-AQA（Reinforcement Learning Outperforms SFT: A Case Study on AQA） | 2025-03 | 最小的「GRPO + 现成音频 QA 数据」基线，直接回答「不用合成闭环，只拿公开数据跑 GRPO 能到多少」 | 代码开源，GitHub xiaomi-research/r1-aqa 328 star |
否 |
| SARI | 2025-04 | 课程式 RL 音频推理，论文在 Intro 里引作 partial adaptation | 骨干同为 Qwen 系 | 否，只引用 |
| Omni-R1（Do You Really Need Audio?） | 2025-05 | 论文用它来论证纯文本探针过滤，同时它本身就是 Qwen2.5-Omni 上的 GRPO 基线 | 骨干相同 | 否，只引用 |
| AQA-TTRL | 2025-10 | label-free 自适应 RL，Intro 引用 | 骨干相同 | 否，只引用 |
| Audio-Thinker | 2026-01（AAAI 2026） | Qwen2.5-Omni 上的 RL 音频推理强基线 | 骨干相同 | 否 |
| Audio-Zero（2607.20166） | 2026-07 | 音频域 label-free 自演化，最直接的竞争者，论文 Intro 引用并称其「remain fixed throughout training」 | 骨干同为 Qwen2.5-Omni，同样报 MMAR | 否，只引用 |
| AudioRubrics（2608.02831） | 2026-08 | 随训练演化的 reward，Intro 引用 | 未查到开源 | 否，只引用 |
Audio-Zero 是最该比的一项。本仓库评审 /Users/ihatetheworld555/projects/工具/ihatetheworld555.github.io/_paper_reviews/2026-07-22/2607.20166v1.md 记录，Audio-Zero 在 Qwen2.5-Omni 上报告 MMAR $66.2\%$（$+10.0$）。EvoAudio 在同一骨干上的 MMAR 是 $63.5\%$（$+3.3$）。两篇的评测协议、prompt 和答案抽取规则不同（Audio-Zero 报的 base MMAR 约 $56.2$，EvoAudio 报 $60.2$），数字不能直接相减，但这个量级差距足以说明不比较是一个缺口。
骨干选择上也有回避。五个骨干都是 7–9B，没有 Qwen3-Omni-30B-A3B，也没有 Step-Audio-R1 一类已经做过音频 RL 的模型。MiniCPM-o 4.5 是五个里最强的 base（Avg. $64.5$），增益也最小（$+1.4$），趋势指向「base 越强、方法越没用」，而更强的骨干恰好没测。
检索情况：OpenAlex 查到了 R1-AQA、AQA-TTRL、Audio-Thinker、Audio-Zero、AudioRubrics、Omni-R1、Step-Audio-R1/R1.5 的条目，以及同日的 Reward-Tilted On-Policy Distillation for Acoustic Grounding、2026-09-20 的 Listen Then Reason 两篇同方向工作（时间太近，不算应比基线）。之后 OpenAlex 返回「Rate limit exceeded」，后续核实未能完成。free-search 共检索四次（EvoAudio 仓库、AudioRubrics 标题、MMSU 与 MMAR 规模），返回的都是无关结果（知乎首页、词典页），没有可用信息。MMSU 与 MMAR 的题量改从 arXiv 摘要页核实。gh search repos 只找到 R1-AQA 和 Step-Audio-R1 的仓库，SARI、Omni-R1、AQA-TTRL 未找到。
| 基线 | 年份 | 备注 |
|---|---|---|
| Qwen2.5-Omni-7B（Base） | 2025-03 | 骨干，非方法基线；未用 Qwen3-Omni |
| Kimi-Audio-7B-Instruct（Base） | 2025-04 | 骨干 |
| Audio Flamingo 3 7B（Base） | 2025-07 | 骨干 |
| MiMo-Audio-7B-Instruct（Base） | 2025-12 | 骨干，仅 Base 对照 |
| MiniCPM-o 4.5 9B（Base） | 2026-04 | 骨干，仅 Base 对照 |
| Static-profile GRPO | 2026（作者自建） | 预算对齐，冻结课程的消融式对照 |
| Pooled GRPO | 2026（作者自建） | 13 轮课程的并集单遍训练 |
| EvoAudio (SFT) | 2026（作者自建） | 同课程换成 SFT 更新 |
骨干本身不老，最新的到 2026-04。问题在于方法基线全部是作者自建的变体，外部方法基线数量为零。这三个自建对照设计得不差（同预算、同工具、只改一处），作为消融是合格的，但它们无法回答「EvoAudio 比领域里现成的音频 RL 方法好多少」。
论文没有报告方差、置信区间、多 seed 或显著性检验。Table 2 和 Table 3 每格都是单次运行。
我按二项分布粗估测试集噪声（这是估算）。MMSU 5,000 题、MMAU-Pro 计分 4,239 题、MMAR 1,000 题，准确率取 $p\approx0.6$ 时，单个模型的标准误分别约为 $0.69$、$0.75$、$1.55$ 分。三项平均的标准误约为
\[\sigma_{\text{Avg}}\approx\frac{1}{3}\sqrt{0.69^2+0.75^2+1.55^2}\approx0.62\ \text{分}.\]其中，分母 3 来自三项等权平均，各项之间视为独立。
这只是测试集采样噪声。RL 训练的 seed 方差没有计入，论文也没有给出任何可以估计它的信息，真实噪声只会更大。
放在这个量级下看：
循环评测方面，论文的评测是 MCQ 准确率，没有使用 LLM-as-judge。晋级用的 held-out 集由作者的工具链生成，与三个 benchmark 无关，benchmark 没有参与 checkpoint 选择，这一点是干净的。但论文只保证 held-out 集与训练集无模板、录音、seed 重叠，没有检查训练来源（AudioSet、FSD50K、LibriSpeech、MELD）与 MMAU-Pro、MMAR 的音频来源是否有重叠。
指标挑选方面，MMAU-Pro 排除了 open-ended、spatial、instruction-following 子集，只保留 4,268 题中的 4,239 题。排除理由合理（MCQ 可验证），但这也意味着报告的是 MMAU-Pro 的一个子集。
xiaomi-research/r1-aqa 328 star、stepfun-ai/Step-Audio-R1 701 star。本仓库 Audio-Zero 评审给出其 Qwen2.5-Omni MMAR $66.2\%$，可作量级锚点。free-search 四次检索均返回无关结果。JensenYX/EvoAudio.github.io 是 demo 站点本身。代码、工具库、2,500 题 held-out 集、训练出的权重均未发布。proposer 是 DeepSeek-V4-Flash API，结果依赖该闭源服务的行为。超参数给得比较全（lr $1\times10^{-6}$、KL $0.02$、温度 $0.9$、4 节点 × 8 H800、每轮 64 步），但式 2 的步长 $\eta$、各技能的 $c_{\min}/c_{\max}$、47 类题型的具体模板与声学阈值没有给出。gh search repos "EvoAudio" 只返回 demo 站点仓库；抓取 demo 页确认无代码链接。论文的优点在三处。第一，问题选得准，声学感知弱于语义理解在五个骨干的 base 数据里都看得到。第二，「答案由构造过程决定、渲染后再复测」这条思路给音频 RL 提供了不依赖强模型标注的可验证奖励，Table 3 中去掉声学验证后 Var. 从 $53.8\%$ 升到 $57.2\%$，Avg. 却从 $65.4$ 降到 $64.1$，说明复测确实挡住了一批错误奖励。第三，内部对照设计规整，Static-profile 与 Pooled 两个同预算对照把自适应课程的贡献单独隔离到了约 $2.1$ 分。
主要问题在于外部证据缺失。主表没有任何一个外部方法基线，R1-AQA、Omni-R1、AQA-TTRL、Audio-Zero 等同骨干 RL 方法论文都引用了却没有比较；全部结果是单 seed，自适应课程带来的 $1.5$ 到 $2.6$ 分只比估算的测试集噪声高 2–4 倍，还没算 seed 方差；最强骨干上增益只剩 $1.4$ 分，更强的 Qwen3-Omni 级骨干没有测。部分大幅增益（Kimi MMAU-Pro Sound $+19.8$、Qwen MMAR Culture $+10.5$）与论文自己对工具覆盖范围的解释相矛盾，格式合规可能占了一部分。代码、数据、权重都没有发布。
| Axiom | 判定 | 分数 | 权重 | 加权分 |
|---|---|---|---|---|
| 一 对象公理 | ⚠️ | 7 | 1.0 | 7.0 |
| 二 识别公理 | ⚠️ | 5 | 1.5 | 7.5 |
| 三 独立性公理 | ⚠️ | 7 | 1.0 | 7.0 |
| 四 压缩公理 | ⚠️ | 5 | 1.0 | 5.0 |
| 五 效用公理 | ⚠️ | 5 | 2.0 | 10.0 |
| 六 新颖性公理 | ⚠️ | 5 | 2.0 | 10.0 |
| 七 可复现公理 | ⚠️ | 4 | 1.0 | 4.0 |
加权总分: 5.32/10（加权分之和 50.5 / 权重之和 9.5） 最终建议: Borderline