TinyAudio 是一个总参数 $87$M 的 flow-matching 文生音频系统,由 $32$M 的 TA-CLAP 文本编码器、$35$M 的单流 TA-DiT 生成器和 $20$M 的 TA-VAE 解码器拼成。 核心贡献是一套压缩配方:单流 DiT 加跨层共享的 AdaLN 调制、SigLIP 式对比学习适配的小文本编码器、按 AudioBox Aesthetics 与 CLAP 打分筛选的 $417$K 条 SFT 数据,以及一个 MeanFlow 一步版 TinyAudio-MF。 论文的卖点是显存与参数,质量只声称”competitive”。
在论文 Table 1 的 AudioCaps 部分,TinyAudio 没有任何一项指标排第一。
| 指标 | TinyAudio | 最强基线 | 差距 |
|---|---|---|---|
| FAD ↓ | $2.65$ | GenAU-L-Full $2.07$ | 差 $0.58$,相对差 $28\%$ |
| FD ↓ | $18.24$ | MeanAudio-L-Full $14.06$ | 差 $4.18$,相对差 $29.7\%$ |
| KL ↓ | $1.32$ | Tango-2-Full $1.20$ | 差 $0.12$ |
| IS ↑ | $10.44$ | TangoFlux $12.81$ | 低 $2.37$,相对低 $18.5\%$ |
| CLAP ↑(TTA-Bench) | $0.429$ | Resonate $0.476$ | 低 $0.047$,相对低 $9.9\%$ |
| PQ ↑(TTA-Bench) | $5.996$ | Resonate $6.064$ | 低 $0.068$ |
FD 一项,TinyAudio 在表中 $11$ 个系统里排第 $7$,只好过 AudioLDM-L-Full($29.50$)、AudioLDM2-Large($25.53$)、TangoFlux($20.65$)和 TinyAudio-MF 自己($23.65$)。 论文正文也承认”higher FD than most compared systems”。
一步版 TinyAudio-MF 的退化更大:FAD $2.83$、FD $23.65$、IS $8.47$、CLAP $0.403$,FD 比 25 步版涨了 $5.41$。
真正的优势落在部署开销上。 在论文的单卡 FP32、batch 1 设置下,TinyAudio 峰值显存 $0.48$ GB,最省的基线 AudioLDM-L-Full 是 $3.89$ GB,约 $8.1$ 倍;推理参数 $87$M 对最小的 TangoFlux $937$M,约 $10.8$ 倍,”over 90% fewer” 成立。
GPU 速度上,TinyAudio 25 步加 CFG 的 RTF 为 $0.078$,反而慢于 $480$M 的 MeanAudio-L-Full($0.057$,25 步无 CFG)。 参数少了 $5.5$ 倍,而速度没有赢,因为 CFG 让函数调用次数翻倍成 $50$ 次。
CPU 实时性只给了 TinyAudio-MF 一个数:在两颗 Xeon Gold 6530 的服务器节点上用 cgroup 限到四核,RTF $0.715$。 没有任何基线的 CPU 对照,也没有在真实端侧硬件(手机、树莓派、ARM)上测。
消融里有两处与正文叙述对不上。
第一,Table 4 中 Quality-Aware SFT 的 FAD 是 $2.651$,比不做 SFT 的 Pretraining only($2.471$)更差 $0.18$,只有 KL($1.322$ 对 $1.362$)和 IS($10.442$ 对 $10.231$)略好。 主模型用的是 SFT 后的 checkpoint,所以按 FAD 算,SFT 这一步在论文设置中是负收益,论文只拿它和 Random SFT($3.412$)比。
第二,Table 3 中 Base 的 KL 是 $1.399$,反而差于 Per-block AdaLN($1.370$)和 Dual-stream MMDiT($1.349$)。 Base 只在 FAD 和 IS 上占优,正文概括成”better overall quality trade-off”。 正文 §3.4 还把这张表写成了 “Table 4”,属于表号笔误。
主表 9 个基线全是 $470$M 到 $1253$M 的大模型,没有一个紧凑型对手。 一篇主打”小”的论文,比较对象却全是它要替代的大模型,这让”competitive”无从检验。 下面几个在投稿时应该出现:
| 缺失基线 | 时间 | 为什么该比 | 公开权重 |
|---|---|---|---|
| Stable Audio Open Small(ARC post-training,arXiv 2505.08175) | 2025-05 | 直接面向端侧的 TTA,DiT 从 $1.06$B 压到 $0.34$B,论文自称在移动端约 $7$ 秒生成约 $12$ 秒 44.1 kHz 立体声 | 有,HF stabilityai/stable-audio-open-small($297$ likes) |
| AudioGAN(arXiv 2512.22166) | 2025-12 | 标题同样是 “Compact and Efficient… Real-Time”,自报 $28$M 参数、$1.34$ GB 显存、AudioCaps FAD $1.38$、FD $12.66$(其论文 Table 1,评测设置未与本文对齐) | 有,HF SeaSky1027/AudioGAN,GitHub 仓库存在 |
| MeanAudio-S-Full(同组) | 2025-08 | $120$M 的同组小模型,支持一步生成,是 TinyAudio-MF 最直接的对照;主表只放了 $480$M 的 L 版 | 有,HF AndreasXi/MeanAudio |
| PixArt-α 的 adaLN-single(arXiv 2310.00426) | 2023 | 方法先例,见公理六 | 不适用 |
AudioGAN 的数字是它自己报告的,FAD 实现与测试子集未必和本文一致,所以只能说明存在一个更小、自报更好的公开对手,不能直接判定 TinyAudio 输了。 而这正是本文应该自己跑一遍的理由。
MeanAudio-S-Full 的锚点来自仓库内既有评审 _paper_reviews/2026-07-11/2607.10421v1.md(FdAudio):其中引用 MeanAudio 一步 FD $14.35$、FAD $1.77$。
跨论文的评测流程不同,这里只作量级参考:TinyAudio-MF 一步 FD $23.65$,差距量级在 $9$ 个 FD 点。
| 基线 | 年份 | 备注 |
|---|---|---|
| AudioLDM-L-Full | 2023 | arXiv 2301.12503 |
| AudioLDM2-Large | 2024 | TASLP,arXiv 2023 |
| Tango-Full | 2023 | ACM MM |
| Tango-2-Full | 2024 | ACM MM |
| MeanAudio-L-Full | 2026(ACL;arXiv 2025-08) | 同组,只比 L 版,未比 S 版 |
| EzAudio-XL | 2025 | Interspeech |
| GenAU-L-Full | 2026(IJCV;arXiv 2024) | |
| TangoFlux | 2026(ICLR;arXiv 2024-12) | |
| Resonate | 2026 | Interspeech,同组;TTA-Bench 数字照搬其评测 |
基线年份本身够新,2025–2026 年的有 5 个。 问题出在尺寸维度:所有基线的推理参数都是 TinyAudio 的 $10.8$ 到 $24.4$ 倍($937$M–$2120$M 对 $87$M),同尺寸区间是空的。 主观评测(Table 2)只选了 TangoFlux、EzAudio、AudioLDM 三个,客观指标上更强的 MeanAudio、Resonate、GenAU 没有进听测。
论文全篇没有多 seed、方差、置信区间或显著性检验,客观指标全部是单次运行。
主表 AudioCaps 测试集大小没写清,消融说用 $957$ 条测试样本。 按约 $1$K 条样本粗估,FAD 的 seed 间波动通常在 $0.05$–$0.15$ 量级(这是估算,论文未提供)。 主表上 TinyAudio 对最强基线是落后 $0.4$–$0.6$ FAD、$4$ 个 FD 点,这个差距大于噪声,”competitive”的成色要按”明显落后但同一档位”来读。
消融就落进噪声区了。 Table 3 中 Base 对 Per-block AdaLN 的 FAD 差 $0.164$,单 seed、只训 $200$K 步,KL 方向还相反,支撑”共享调制更好”的证据偏弱。
主观评测(Table 2)是 $10$ 位听者、每个模型 $10$ 条样本。 TinyAudio OVL $3.560\pm0.985$,TangoFlux $3.505\pm0.989$,差 $0.055$。 按每模型 $100$ 个评分算,均值标准误约 $0.985/\sqrt{100}\approx0.10$,$95\%$ 区间约 $\pm0.19$;若 10 条样本是同一批,按条目算的有效样本只有 $10$,区间还要宽得多。 所以”OVL 排第一”在统计上与 TangoFlux 无法区分,REL($3.520$ 对 $3.600$)同样如此。
TTA-Bench 存在循环评测。 SFT 数据按 AudioBox Aesthetics 的 PQ、CE、CU 阈值和 LAION-CLAP 相似度筛选(§2.4),TTA-Bench 报告的恰好是 AudioBox Aesthetics 的 CE/CU/PC/PQ 加 CLAP 相似度(§3.2)。 TinyAudio 在 TTA-Bench 上唯一接近第一的指标是 PQ($5.996$,第二),而 PQ 正是数据筛选目标之一。 TTA-Bench 基线数字照搬 Resonate 论文,没有在同一流程下重跑。
stabilityai/stable-audio-open-small 创建于 2025-05-12;GitHub 确认 SeaSky1027/AudioGAN 与 xiquan-li/MeanAudio($153$ stars,README 列出 MeanAudio-S-Full $120$M 权重)存在。OpenAlex 前两轮返回了结果(命中 “Efficient Text-to-Audio Generation via Pruning”,2026-07-14,未能拿到正文细节),随后日配额耗尽返回 Rate limit exceeded;free-search 的 bing 源对英文查询只返回词典页,dblp/arxiv 源返回空;Semantic Scholar 返回 429。_paper_reviews/2026-07-15/2607.13408v1.md 记录了同一子领域”训练用的 judge 与评测用的 judge 同族”的循环问题,可作为对照;本文的问题形态相同,只是 judge 换成了 AudioBox Aesthetics。_paper_reviews/2026-07-11/2607.10421v1.md)引用 MeanAudio 一步 FD $14.35$。两者评测流程与本文未对齐,只作量级锚点。junxi25liu/TinyAudio 截至检索时只有 .gitignore 与 README.md 两个文件,README 的代码、模型、训练、评测各节全部写着 “Coming soon”,仓库 $19$ stars。超参数(18 层、hidden $384$、8 头、CFG $9$、500K+200K 步、batch $1024$)写得比较全,但 SFT 筛选阈值在 HTML 中依赖公式渲染,训练语料含商业来源 AudioStock,TTA-Bench 基线数字是转抄。现阶段无法复现。gh api repos/junxi25liu/TinyAudio/contents 返回 ['.gitignore', 'README.md'],仓库最近更新 2026-09-30。TinyAudio 把一个 TTA 系统完整地压到了 $87$M 参数、$0.48$ GB 显存,三个组件各自都有消融或单独评测(Table 3–5),TA-CLAP 用 $67$M 在 AudioCaps 检索上与 $200$M 的 LAION-CLAP 打平甚至略好(A→T R@1 $48.9$ 对 $44.2$)。 作为一份”小模型能做到什么程度”的工程报告,数据是有用的。
主要问题在于比较对象选错了尺寸档。 主表全是大模型,TinyAudio 在 AudioCaps 每一项指标上都输给最强基线(FD 落后约 $30\%$),而真正该比的同档对手 Stable Audio Open Small、AudioGAN、MeanAudio-S-Full 都有公开权重却一个没出现。 “低资源部署”只在服务器 GPU 和服务器限核 CPU 上测过,CPU 侧没有基线。 TTA-Bench 上的 Aesthetics 指标与 SFT 数据筛选信号重合,构成循环评测;主观评测规模只有 $10\times10$,领先幅度在噪声内。 Table 4 显示 quality-aware SFT 让 FAD 从 $2.471$ 变差到 $2.651$,论文对此没有讨论。 共享调制的设计与 PixArt-α 的 adaLN-single 同构且未引用,代码和权重目前也都没放出。
| Axiom | 判定 | 分数 | 权重 | 加权分 |
|---|---|---|---|---|
| 一 对象公理 | ⚠️ | 7 | 1.0 | 7.0 |
| 二 识别公理 | ⚠️ | 4 | 1.5 | 6.0 |
| 三 独立性公理 | ⚠️ | 4 | 1.0 | 4.0 |
| 四 压缩公理 | ✅ | 8 | 1.0 | 8.0 |
| 五 效用公理 | ⚠️ | 5 | 2.0 | 10.0 |
| 六 新颖性公理 | ⚠️ | 4 | 2.0 | 8.0 |
| 七 可复现公理 | ❌ | 3 | 1.0 | 3.0 |
加权总分: 4.84/10(加权分之和 46.0 / 权重之和 9.5) 最终建议: Weak Reject