MuCodec

超低比特率音乐编解码器

讨论：https://huggingface.co/papers/2409.13216

音乐编解码器是音频编解码研究的重要方面，超低比特率压缩在音乐传输和生成中具有重要意义。由于音乐背景的复杂性和人声的丰富性，仅依靠建模语义或声学信息无法有效地重建包含人声和背景的音乐。为了解决这个问题，我们提出了MuCodec，专门针对超低比特率的音乐压缩和重建任务。MuCodec 使用 MuEncoder 提取声学和语义特征，通过 RVQ 离散化，并通过流匹配获取 Mel-VAE 特征。然后使用预训练的 MEL-VAE 解码器和 HiFi-GAN 重建音乐。MuCodec 可以在超低（0.35kbps）或高比特率（1.35kbps）下重建高保真音乐，在主观和客观指标上均取得了迄今为止最好的结果。