Paper Review: TinyAudio: Compact and Efficient Text-to-Audio Generation for Low-Resource Deployment

论文类型: 系统型

TinyAudio 是一个总参数 $87$M 的 flow-matching 文生音频系统,由 $32$M 的 TA-CLAP 文本编码器、$35$M 的单流 TA-DiT 生成器和 $20$M 的 TA-VAE 解码器拼成。 核心贡献是一套压缩配方:单流 DiT 加跨层共享的 AdaLN 调制、SigLIP 式对比学习适配的小文本编码器、按 AudioBox Aesthetics 与 CLAP 打分筛选的 $417$K 条 SFT 数据,以及一个 MeanFlow 一步版 TinyAudio-MF。 论文的卖点是显存与参数,质量只声称”competitive”。

实验结果审查

结果到底怎么样

在论文 Table 1 的 AudioCaps 部分,TinyAudio 没有任何一项指标排第一。

指标 TinyAudio 最强基线 差距
FAD ↓ $2.65$ GenAU-L-Full $2.07$ 差 $0.58$,相对差 $28\%$
FD ↓ $18.24$ MeanAudio-L-Full $14.06$ 差 $4.18$,相对差 $29.7\%$
KL ↓ $1.32$ Tango-2-Full $1.20$ 差 $0.12$
IS ↑ $10.44$ TangoFlux $12.81$ 低 $2.37$,相对低 $18.5\%$
CLAP ↑(TTA-Bench) $0.429$ Resonate $0.476$ 低 $0.047$,相对低 $9.9\%$
PQ ↑(TTA-Bench) $5.996$ Resonate $6.064$ 低 $0.068$

FD 一项,TinyAudio 在表中 $11$ 个系统里排第 $7$,只好过 AudioLDM-L-Full($29.50$)、AudioLDM2-Large($25.53$)、TangoFlux($20.65$)和 TinyAudio-MF 自己($23.65$)。 论文正文也承认”higher FD than most compared systems”。

一步版 TinyAudio-MF 的退化更大:FAD $2.83$、FD $23.65$、IS $8.47$、CLAP $0.403$,FD 比 25 步版涨了 $5.41$。

真正的优势落在部署开销上。 在论文的单卡 FP32、batch 1 设置下,TinyAudio 峰值显存 $0.48$ GB,最省的基线 AudioLDM-L-Full 是 $3.89$ GB,约 $8.1$ 倍;推理参数 $87$M 对最小的 TangoFlux $937$M,约 $10.8$ 倍,”over 90% fewer” 成立。

GPU 速度上,TinyAudio 25 步加 CFG 的 RTF 为 $0.078$,反而慢于 $480$M 的 MeanAudio-L-Full($0.057$,25 步无 CFG)。 参数少了 $5.5$ 倍,而速度没有赢,因为 CFG 让函数调用次数翻倍成 $50$ 次。

CPU 实时性只给了 TinyAudio-MF 一个数:在两颗 Xeon Gold 6530 的服务器节点上用 cgroup 限到四核,RTF $0.715$。 没有任何基线的 CPU 对照,也没有在真实端侧硬件(手机、树莓派、ARM)上测。

消融里有两处与正文叙述对不上。

第一,Table 4 中 Quality-Aware SFT 的 FAD 是 $2.651$,比不做 SFT 的 Pretraining only($2.471$)更差 $0.18$,只有 KL($1.322$ 对 $1.362$)和 IS($10.442$ 对 $10.231$)略好。 主模型用的是 SFT 后的 checkpoint,所以按 FAD 算,SFT 这一步在论文设置中是负收益,论文只拿它和 Random SFT($3.412$)比。

第二,Table 3 中 Base 的 KL 是 $1.399$,反而差于 Per-block AdaLN($1.370$)和 Dual-stream MMDiT($1.349$)。 Base 只在 FAD 和 IS 上占优,正文概括成”better overall quality trade-off”。 正文 §3.4 还把这张表写成了 “Table 4”,属于表号笔误。

有没有躲开的基线

主表 9 个基线全是 $470$M 到 $1253$M 的大模型,没有一个紧凑型对手。 一篇主打”小”的论文,比较对象却全是它要替代的大模型,这让”competitive”无从检验。 下面几个在投稿时应该出现:

缺失基线 时间 为什么该比 公开权重
Stable Audio Open Small(ARC post-training,arXiv 2505.08175) 2025-05 直接面向端侧的 TTA,DiT 从 $1.06$B 压到 $0.34$B,论文自称在移动端约 $7$ 秒生成约 $12$ 秒 44.1 kHz 立体声 有,HF stabilityai/stable-audio-open-small($297$ likes)
AudioGAN(arXiv 2512.22166) 2025-12 标题同样是 “Compact and Efficient… Real-Time”,自报 $28$M 参数、$1.34$ GB 显存、AudioCaps FAD $1.38$、FD $12.66$(其论文 Table 1,评测设置未与本文对齐) 有,HF SeaSky1027/AudioGAN,GitHub 仓库存在
MeanAudio-S-Full(同组) 2025-08 $120$M 的同组小模型,支持一步生成,是 TinyAudio-MF 最直接的对照;主表只放了 $480$M 的 L 版 有,HF AndreasXi/MeanAudio
PixArt-α 的 adaLN-single(arXiv 2310.00426) 2023 方法先例,见公理六 不适用

AudioGAN 的数字是它自己报告的,FAD 实现与测试子集未必和本文一致,所以只能说明存在一个更小、自报更好的公开对手,不能直接判定 TinyAudio 输了。 而这正是本文应该自己跑一遍的理由。

MeanAudio-S-Full 的锚点来自仓库内既有评审 _paper_reviews/2026-07-11/2607.10421v1.md(FdAudio):其中引用 MeanAudio 一步 FD $14.35$、FAD $1.77$。 跨论文的评测流程不同,这里只作量级参考:TinyAudio-MF 一步 FD $23.65$,差距量级在 $9$ 个 FD 点。

基线年份

基线 年份 备注
AudioLDM-L-Full 2023 arXiv 2301.12503
AudioLDM2-Large 2024 TASLP,arXiv 2023
Tango-Full 2023 ACM MM
Tango-2-Full 2024 ACM MM
MeanAudio-L-Full 2026(ACL;arXiv 2025-08) 同组,只比 L 版,未比 S 版
EzAudio-XL 2025 Interspeech
GenAU-L-Full 2026(IJCV;arXiv 2024)  
TangoFlux 2026(ICLR;arXiv 2024-12)  
Resonate 2026 Interspeech,同组;TTA-Bench 数字照搬其评测

基线年份本身够新,2025–2026 年的有 5 个。 问题出在尺寸维度:所有基线的推理参数都是 TinyAudio 的 $10.8$ 到 $24.4$ 倍($937$M–$2120$M 对 $87$M),同尺寸区间是空的。 主观评测(Table 2)只选了 TangoFlux、EzAudio、AudioLDM 三个,客观指标上更强的 MeanAudio、Resonate、GenAU 没有进听测。

增益是否超出评测误差

论文全篇没有多 seed、方差、置信区间或显著性检验,客观指标全部是单次运行。

主表 AudioCaps 测试集大小没写清,消融说用 $957$ 条测试样本。 按约 $1$K 条样本粗估,FAD 的 seed 间波动通常在 $0.05$–$0.15$ 量级(这是估算,论文未提供)。 主表上 TinyAudio 对最强基线是落后 $0.4$–$0.6$ FAD、$4$ 个 FD 点,这个差距大于噪声,”competitive”的成色要按”明显落后但同一档位”来读。

消融就落进噪声区了。 Table 3 中 Base 对 Per-block AdaLN 的 FAD 差 $0.164$,单 seed、只训 $200$K 步,KL 方向还相反,支撑”共享调制更好”的证据偏弱。

主观评测(Table 2)是 $10$ 位听者、每个模型 $10$ 条样本。 TinyAudio OVL $3.560\pm0.985$,TangoFlux $3.505\pm0.989$,差 $0.055$。 按每模型 $100$ 个评分算,均值标准误约 $0.985/\sqrt{100}\approx0.10$,$95\%$ 区间约 $\pm0.19$;若 10 条样本是同一批,按条目算的有效样本只有 $10$,区间还要宽得多。 所以”OVL 排第一”在统计上与 TangoFlux 无法区分,REL($3.520$ 对 $3.600$)同样如此。

TTA-Bench 存在循环评测。 SFT 数据按 AudioBox Aesthetics 的 PQ、CE、CU 阈值和 LAION-CLAP 相似度筛选(§2.4),TTA-Bench 报告的恰好是 AudioBox Aesthetics 的 CE/CU/PC/PQ 加 CLAP 相似度(§3.2)。 TinyAudio 在 TTA-Bench 上唯一接近第一的指标是 PQ($5.996$,第二),而 PQ 正是数据筛选目标之一。 TTA-Bench 基线数字照搬 Resonate 论文,没有在同一流程下重跑。

公理审查结果

公理一:对象公理

公理二:识别公理

公理三:独立性公理

公理四:压缩公理

公理五:效用公理

公理六:新颖性公理

公理七:可复现公理

总评

TinyAudio 把一个 TTA 系统完整地压到了 $87$M 参数、$0.48$ GB 显存,三个组件各自都有消融或单独评测(Table 3–5),TA-CLAP 用 $67$M 在 AudioCaps 检索上与 $200$M 的 LAION-CLAP 打平甚至略好(A→T R@1 $48.9$ 对 $44.2$)。 作为一份”小模型能做到什么程度”的工程报告,数据是有用的。

主要问题在于比较对象选错了尺寸档。 主表全是大模型,TinyAudio 在 AudioCaps 每一项指标上都输给最强基线(FD 落后约 $30\%$),而真正该比的同档对手 Stable Audio Open Small、AudioGAN、MeanAudio-S-Full 都有公开权重却一个没出现。 “低资源部署”只在服务器 GPU 和服务器限核 CPU 上测过,CPU 侧没有基线。 TTA-Bench 上的 Aesthetics 指标与 SFT 数据筛选信号重合,构成循环评测;主观评测规模只有 $10\times10$,领先幅度在噪声内。 Table 4 显示 quality-aware SFT 让 FAD 从 $2.471$ 变差到 $2.651$,论文对此没有讨论。 共享调制的设计与 PixArt-α 的 adaLN-single 同构且未引用,代码和权重目前也都没放出。

日报摘要

打分

Axiom 判定 分数 权重 加权分
一 对象公理 ⚠️ 7 1.0 7.0
二 识别公理 ⚠️ 4 1.5 6.0
三 独立性公理 ⚠️ 4 1.0 4.0
四 压缩公理 ✅ 8 1.0 8.0
五 效用公理 ⚠️ 5 2.0 10.0
六 新颖性公理 ⚠️ 4 2.0 8.0
七 可复现公理 ❌ 3 1.0 3.0

加权总分: 4.84/10(加权分之和 46.0 / 权重之和 9.5) 最终建议: Weak Reject