Paper Review: InstCharVoice: Grounding Natural-Language Instructions for Character-Level Control in Text-to-Speech

论文类型: 方法型

InstCharVoice 来自华南理工与虎牙，是同组 WordVoice（arXiv 2607.06461）的指令化续作。作者先用 Qwen3-Omni-30B-A3B 在 WordVoice-5A-zh（约 2,546 小时中文）上分三阶段生成自然语言指令，并给出「哪个字的哪一维属性被指令点到」的 grounding 标签（Table 1：2143k 条语句、5978k 个关键词）。

模型沿用 WordVoice 的骨架：Qwen2.5-0.5B 初始化的自回归 LLM 逐字先预测五维属性（时长、边界、能量、音高、声调），再生成该字的 CosyVoice3 speech token，最后交给 WordVoice-FM 出波形。新增的部分只有两处：一个预测「该字是否为指令关键词」的辅助 head（KP），以及按 grounding 标签重新分配属性损失权重的 GLW（式 2）。

实验结果审查

结果到底怎么样

主表是 Table 2（客观）和 Table 3（主观）。最强基线按指标不同而换人，下面逐项取最强的那一个对比。

指标 InstCharVoice 最强基线 绝对差 相对差
kD-MAE ↓ 0.0769 0.1057（Qwen3-TTS） −0.0288 −27.2%
kE-MAE ↓ 0.1271 0.1409（FireRedTTS3） −0.0138 −9.8%
kP-MAE ↓ 0.1857 0.2291（Qwen3-TTS） −0.0434 −18.9%
kB-RER ↓ 14.04% 24.27%（CosyVoice3） −10.23 pp −42.2%
kT-RER ↓ 37.05% 44.56%（Qwen3-TTS） −7.51 pp −16.9%
DNSMOS ↑ 3.686 3.642（Qwen3-TTS） +0.044 +1.2%
CER ↓ 3.58% 2.89%（FireRedTTS3） +0.69 pp +23.9%（变差）
NMOS ↑ 3.528 ± 0.219 3.331 ± 0.266（FireRedTTS3） +0.197 +5.9%
IMOS ↑ 3.602 ± 0.212 3.402 ± 0.253（CosyVoice3） +0.200 +5.9%
SMOS ↑ 3.173 ± 0.260 3.533 ± 0.212（FireRedTTS3） −0.360 −10.2%（变差）

在论文的 WordVoice-5A-zh 测试集上，五项 keyword 级声学误差全部领先，边界一项的相对降幅最大（42.2%）。

代价落在可懂度和音色上。CER 从 2.89% 涨到 3.58%，相对涨了约四分之一；SMOS 在四个系统里排第三，只高于 Qwen3-TTS。

而 Table 2 里还有一行更能说明问题，就是作者自己的 w/o Instruction 变体。这个变体不看指令，kD-MAE 已经是 0.0965，低于全部三个外部基线（最好的 0.1057）；kB-RER 23.10%、kT-RER 44.08%，与 CosyVoice3（24.27%）和 Qwen3-TTS（44.56%）几乎持平。

也就是说，相对外部基线的领先可以拆成两段：一段来自「在同一份数据、同一套属性定义上训练过」，一段来自真正读懂了指令。后者用 w/o Instruction → Full 衡量，kD-MAE 降 20.3%、kP-MAE 降 22.7%、kB-RER 降 9.06 pp。作者把基线结果接近 w/o Instruction 解读为「基线无法把指令翻译成字级变化」（§3.2），这一读法成立，但它同时说明论文没有一个能把这两段分开的外部参照。

Table 4 的消融只在 keyword 级指标上做。去掉 GLW 比去掉 KP 掉得多（kB-RER 20.76% vs 16.37%），去掉 KP 在声调上只差 0.77 pp（37.82% vs 37.05%）。消融表没有给 CER、DNSMOS，因此看不出 GLW 是否就是 CER 变差的来源。

Table 5 在显式属性输入下和 WordVoice 对比，结果互有胜负：D-MAE 0.0393 vs 0.0348（相对差 13%），E-MAE 0.0544 vs 0.0484，而 P-MAE、B-ER、T-RER 略好。作者的结论是「基本保留」了 WordVoice 的控制能力，这个措辞与数字相符。

有没有躲开的基线

先说检索情况。OpenAlex 第一轮按日期排序的宽泛检索返回的全是无关领域论文，第二轮起直接报「Rate limit exceeded / Insufficient budget」，没有拿到任何同任务结果。free-search（bing）的三组查询返回的都是词典页和 Microsoft Word 页面，同样无效。GitHub 检索在被 403 限流之前拿到了 XXH333/WordVoice-main、XXH333/WordVoice-5A-Pipeline、XXH333/instcharvoice-demo 和 QwenLM/Qwen3-TTS。下面的判断因此主要依据论文自己的引用列表和仓库内既有评审。

按这些线索，提交时应当出现而缺席的对比如下。

第一，级联基线：用一个通用 LLM 把指令解析成字级五维属性，再喂给 WordVoice。这是这个任务的最小基线。WordVoice 的推理与训练代码已在 XXH333/WordVoice-main 公开，Table 5 也证明作者手里有能跑的 WordVoice。没有这一行，就无法回答「端到端 grounding 比『LLM 规划 + 现成可控 TTS』好在哪里」，而这恰好是论文核心卖点要回答的问题。

第二，VoiceSculptor（arXiv 2601.10629，2026-01）。论文在引言 [6] 里引了它，却没有放进对比。仓库内 FireRedTTS3 与 FireRedAudio 的评审（_paper_reviews/2026-08-18/2608.17492v1.md、_paper_reviews/2026-08-25/2608.24168v1.md）显示它在 2026 年下半年已被当作指令 TTS 的常规对比项（VoiceSculptor-VD）。公开权重情况因 GitHub 限流未能核实。

第三，OV-InstructTTS（ICASSP 2026，引用 [16]）与 HD-PPT（ICASSP 2026，引用 [13]，作者同组）。两者都是 2026 年的指令 TTS 方法，后者还是本组自己的工作，代码获取成本最低，同样缺席。

第四，Magic-TTS（arXiv 2604.21164，引用 [10]）。它做显式的局部时长与停顿控制，正好对应 Table 5 的 D-MAE 和 B-ER。WordVoice 原文和它比过（见 _paper_reviews/2026-07-07/2607.06461v1.md），本文的 Table 5 只留下了 WordVoice 一行。

第五，Qwen-Audio-3.0-TTS（arXiv 2607.23938，引用 [20]）。仓库内评审（_paper_reviews/2026-07-27/2607.23938v1.md）记录其未开源代码与权重，不比可以接受。

外部基准也缺席。InstructTTSEval 在 FireRedTTS3 等 2026 年工作里是指令遵循的通用评测（见上面两份评审），本文只在自建的 WordVoice-5A-zh 测试集上评估，测试指令也由同一条 Qwen3-Omni 管线生成。

基线年份

基线 年份 备注
FireRedTTS3 2026（arXiv 2608.17492） 指令模式不支持音色克隆，输出经 Seed-VC 转换后参评
Qwen3-TTS 2026（arXiv 2601.15621） 论文没有写明用的是哪个尺寸和哪个变体；同样经 Seed-VC 转换
CosyVoice3 2025（arXiv 2505.17589） 本文 speech tokenizer 也来自它
WordVoice（Table 5） 2026（arXiv 2607.06461） 作者同组前作，仅用于显式属性控制对比

基线本身足够新，最老的 CosyVoice3 也是 2025 年 5 月。

问题出在基线的使用方式。两个基线被套上 Seed-VC 做音色转换，这一步会同时改动音色与韵律，SMOS 和 keyword 级指标都会受影响；作者在 §3.2 承认了对 SMOS 的影响，却没有讨论它对 kD/kP 的影响。Qwen3-TTS 的版本不明，无法判断是否为低配版本。三个外部基线都没在 WordVoice-5A 的属性定义上训练过，而 keyword 级指标正是用这套定义算的，这一点放到公理三里讨论。

增益是否超出评测误差

论文没有报告任何客观指标的方差、置信区间、多 seed 或显著性检验。Table 4 的每个变体都只取验证损失最低的一个 checkpoint，同样是单次运行。

论文也没有写客观测试集的语句数。§3.2 只说「沿用 WordVoice-5A 的划分」。按仓库内 WordVoice 评审的原文日志（_paper_reviews/2026-07-07/2607.06461v1.log），WordVoice-5A 测试集中文部分约 2,000 条。下面的噪声量级是在这个假设上的估算，并非论文数据。

按 Table 1 的比例，每条语句平均约有 1.81 个边界 grounded 对、0.42 个声调 grounded 对、0.094 个音高 grounded 对。放到 2,000 条上，大约是边界 3,600 对、声调 840 对、音高只有 190 对左右。

边界 RER 在 20% 附近，n≈3,600 时二项分布 95% 置信半宽约 1.3 pp，10.23 pp 的差距远在噪声之外。声调 RER 在 40% 附近，n≈840 时半宽约 3.3 pp，7.51 pp 的差距也在噪声之外。音高最脆弱：若单对误差标准差取 0.2 量级，n≈190 时均值的 95% 半宽约 0.028，0.0434 的差距只有噪声的 1.5 倍左右。消融里 w/o KP 与 Full 的 kP-MAE 只差 0.0042、kT-RER 只差 0.77 pp，都落在这个估算噪声以内。

主观评测更薄。Table 3 用了 27 名听者，但只有 14 组指令-文本对，每组一条参考音。NMOS 领先 0.197，而两者的 95% 置信半宽是 0.219 和 0.266，区间明显重叠；IMOS 对 CosyVoice3 领先 0.200，半宽 0.212 和 0.253，同样重叠。论文用「highest mean」措辞描述，没有做配对检验，因此主观优势在论文给出的数据上不能算显著。

指标选择也有倾向。keyword 级误差只在「被指令点到」的字-属性对上计算，而这些对的定义、训练时的加权（GLW）、评测时的筛选是同一套标签。CER 与 SMOS 这两项劣势如实报告了，这是加分项。

§3.1 的标注质量评测（Figure 3）由 10 名听者各评 40 条，共 400 次判断，一致率从 35.75% 升到 84.50%。但它只比较了第一、二阶段的指令描述，第三阶段产出的 grounding 标签本身（直接决定 keyword 级指标）没有任何人工核验。

公理审查结果

公理一：对象公理

公理二：识别公理

公理三：独立性公理

公理四：压缩公理

公理五：效用公理

公理六：新颖性公理

公理七：可复现公理

总评

InstCharVoice 处理的是一个具体而真实的缺口：让指令 TTS 说清楚「改哪个字、改哪一维」。设计上它很克制，只在 WordVoice 上加了 grounding head 和损失重加权，同一个模型同时保留了显式属性控制（Table 5 与 WordVoice 互有胜负）。在论文的测试集上，keyword 级边界错误率从最强基线的 24.27% 降到 14.04%，按估算的测试规模，这个差距远超评测噪声。CER 和 SMOS 的劣势也如实写进了正文。

主要问题在于，主表的比较没法把「指令理解」与「在同一套属性定义上训练过」分开。

w/o Instruction 变体已经在 kD-MAE 上胜过所有外部基线，而评测属性、grounded 样本筛选、训练加权又共用同一套 Qwen3-Omni + WordVoice-5A 标签。最该做的「LLM 解析指令 + WordVoice」级联基线缺席，引用过的 VoiceSculptor、OV-InstructTTS、HD-PPT 也没有比；外部基线还被套了一层 Seed-VC。

主观评测只有 14 组样本，NMOS/IMOS 的领先落在置信区间重叠内；客观指标没有方差，消融里 KP 的贡献小到可能落在噪声里。grounding 标签本身没有人工核验，代码与权重也没有发布计划。作为 ICASSP 投稿，补上级联基线、外部基准与显著性检验之后，结论才站得住。

日报摘要

打分

Axiom 判定 分数 权重 加权分
一 对象公理 ⚠️ 7 1.0 7.0
二 识别公理 ⚠️ 4 1.5 6.0
三 独立性公理 ⚠️ 4 1.0 4.0
四 压缩公理 ⚠️ 6 1.0 6.0
五 效用公理 ⚠️ 5 2.0 10.0
六 新颖性公理 ⚠️ 5 2.0 10.0
七 可复现公理 ⚠️ 4 1.0 4.0

加权总分: 4.95/10（加权分之和 47.0 / 权重之和 9.5） 最终建议: Weak Reject