允中 发自 凹非寺

量子位 | 公众号 QbitAI

“先来一段蝉鸣，然后吉他声切入。”

对待这样一段表面上瞧着挺简单的文字指令, 现有的音频大模型, 它不但“听不懂”（将顺序或者数量弄错）, 并且“出得慢”（生成时长为10秒的声音, 常常得等待几秒甚至十几秒）。

这变成了, AI音频, 从“玩具”迈向专业工作流, 以及实时交互的, 最大绊脚石。

为了处理这一行业难点, Noiz AI与香港科技大学、清华大学等组织一道, 正式发布了支持Anything-to-Audio的超快速音频生成大模型AudioX-Turbo。

AudioX - Turbo可不是仅仅当成一个去搞多种模态输入处理的生成器, 它更是把目标直接对准了“极速推理”以及“精准可控”这两个大难题。

借助分布匹配蒸馏以及对抗蒸馏, AudioX-Turbo把原本处于50至200步的扩散生成过程急剧缩减到4步, 使得模型前向次数猛然下降了大约25倍。

接着, 与全新进行标注的920万量级的“强指令”语料相配合, 模型最终“听懂了时间戳”。

而且AI音频星会员登陆菲律宾亚星国际登录，推理代码、训练代码、模型权重等全部开源。

论文与项目页面：

这是一个链接, 链接的具体地址是https://zeyuet.github.io/AudioX-Turbo/。

项目代码：

该链接所指向之地, 乃是位于github平台之上, 名为NoizAI的用户所创建的项目, 其具体项目名称为AudioX - Turbo。

核心突破一：用4步打败100步亚星APP官网，单卡0.24秒出声

当前存在的主要流行音频模型, 像是MMAudio、Stable Audio Open, 它们大多依靠Diffusion（扩散）或者Flow Matching, 一般来讲需要几十步到上百步的迭代。

AudioX-Turbo的解法是分布匹配对抗蒸馏：

1. 原生多模态骨干打底

全面运用原生适配多模态融合的Multimodal Diffusion Transformer (MMDiT) 当作模型骨架, 联合MAF模块从零点起训练了2.7B参数, 保障了极高的音画同频以及跨模态控制力。

图1.预训练阶段

2. Turbo蒸馏加速

在Flow Matching框架的基础之上, 把分布匹配蒸馏（DMD）以及对抗蒸馏引入进来, 从而将模型蒸馏到4步, 与此同时, 通过应用CFG蒸馏, 把CFG所引入的额外NFE开销给去掉了。

简洁来讲, 仿佛是将一幅得涂抹100回方可完工的画卷, 精炼成仅需涂抹4次的样板, AudioX - Turbo运用蒸馏技术把这个“样板”给提炼出来了。

图2. 分布匹配对抗蒸馏

结果令人震惊, AudioX - Turbo仅仅只需四个采样的步数, 就能够将近似于Teacher模型一百步时的音质, 再凭借扩散判别器, 学生模型输出与真实样本之间的对抗训练, 使得步数较少的模型在部分性能指标方面反而超越了一百步的教师模型。

一张RTX 4090, 生成10秒音频只要0.24秒, RTF仅0.02秒, 这开启了实时音频生成的想象空间。

图3. Audiox-Turbo对比其它模型的全面评测

核心突破二：数据大换血亚星APP会员官网AI音频秒速生成，AudioX-Turbo听懂指令不卡壳，920万样本让模型“听懂人话”

先前, 诸多音频模型皆无法做到精确操控, 溯源其原因, 则是由于数据之中的文本标签过分模糊含糊如只是存有简单的环境音总结概括。

因此, Noiz AI和港科大团队特意打造了超大规模的多模态音频数据集IF-caps-Pro, 其总规模大概是920万。

团队搭建了“大模型级联标注”的方案——

先去构建数量庞大的高质量视频与音频对, 随后运用Gemini 2.5 Pro模型生成带有时间戳、乐器以及事件数量的结构化模板, 接着借助Qwen2-Audio展开大规模的扩写。

喂给模型的数据, 原本是“模糊的摘要”, 现在却变成了“带有精确时间轴的剧本”。

图4. 数据构造流程

与此同时, 研究团队意外发觉, 文本标签写得越细致, 模型在文本转化为音频方面的效果变得更好, 并且, 在“只观看无声视频进行配音”这种情况下的对齐度也随之有了大幅提高。

霸榜级的实验表现

于经典的AudioCaps、MusicCaps等测试集合当中, 4步的AudioX-Turbo模型, 在核心音质指标方面, 打败了或者战平了那些需要50至200步的诸多基线模型。

但是呢, 为了去评测模型的指令进行跟随的这样一种能力, 此团队构造制定了专门的benchmark T2A-bench。

在针对声音类别, 以及数量, 还有时间戳, 以及先后顺序的评测里, 测试结果表明, AudioX - Turbo的效果, 相较于此外的其它基线方法, 呈现出一种碾压性的态势, 其中部分指标比基线提升超过了一倍, 有很强很明显的优势。

图5. AudioX-Turbo的指令跟随能力

总结与传送门

AudioX-Turbo三大亮点

该项目所有训练代码及模型权重，已全部开源。

与港科大、清华的这项联合工作, 是Noiz AI进行的, 它证明了音频大模型能够彻底破除“慢吞吞”的刻板印象, 还能打破“不受控”的刻板印象。

实现了4步极速推理, 它使得处于其后续关联链中的互动剧配音, 哪怕是游戏引擎实时拟音, 就算是AI直播伴奏, 都有成为可触碰、能到达的境地的可能性。

然而, 这恰恰是Noiz AI所正朝着推进的方向, 即要达成让音效, 以及有声内容制作, 还有实时互动语音, 均能够实现实时重建。

论文信息：

核心团队：Noiz AI、香港科技大学、清华大学

项目主页：

https://zeyuet.github.io/AudioX-Turbo/