WavTokenizer

一种高效的音频语言建模声学离散编解码器分词器

讨论: https://huggingface.co/papers/2408.16532

语言模型已经被有效地应用于建模自然信号，例如图像、视频、语音和音频。这些模型的一个关键组成部分是编解码器分词器，它将高维的自然信号压缩成低维的离散标记。在本文中，我们介绍了WavTokenizer，它在音频领域相较于先前的最先进声学编解码器模型具有几个优势：1) 极致压缩。通过压缩量化器的层和离散编解码器的时间维度，24kHz采样率的1秒音频只需要一个包含40或75个标记的量化器。2) 改善的主观质量。尽管标记数量减少，WavTokenizer仍实现了最先进的重建质量，具有出色的UTMOS评分，并且内在包含更丰富的语义信息。具体来说，我们通过设计更广的VQ空间、扩展的上下文窗口和改进的注意力网络，以及引入强大的多尺度判别器和逆傅里叶变换结构，达到了这些效果。我们在语音、音频和音乐领域进行了广泛的重建实验。WavTokenizer在各种客观和主观指标上展示了相较于最先进模型的强大性能。我们还测试了语义信息、VQ利用率和对生成模型的适应性。综合消融研究证实了WavTokenizer中每个模块的必要性。