EMOVA赋予语言模型“看、听、说”充满生动情感的能力讨论: https://huggingface.co/papers/2409.18042GPT-4o，一个支持多模态的模型，能够进行带有多种情感和语调的语音对话，标志着多模态基础模型的一个里程碑。然而，在开源社区中，通过公开数据赋予大型语言模型端到端的图像、文本和语音生成能力仍然具有挑战性。现有的视觉-语言模型依赖外部工具进行语音处理，而语音-语言模型仍然缺乏甚至没有视觉理解能力。为了解决这一差距，我们提出了EMOVA（全情感语音助手），赋予大型语言模型端到端的语音能力，同时保持领先的视觉-语言性能。通过语义-声学解耦的语音分词器，我们惊讶地发现，多模态对齐可以进一步增强视觉-语言和语音能力，相比于相应的双模态对齐模型。此外，我们还提出了一个轻量级的风格模块，用于灵活的语音风格控制（例如，情感和音高）。EMOVA首次在视觉-语言和语音基准测试中实现了最先进的性能，并且支持带有生动情感的多模态口语对话。