热门
最新
红包
立Flag
投票
同城
我的
发布
WhisperSpeech：一个开源的文本到语音系统
牛P的是它是通过对OpenAI的Whisper语音识别模型反向工程来实现的。
通过这种反转过程，WhisperSpeech能够接收文本输入，并利用修改后的Whisper模型生成听起来自然的语音输出。
输出的语音在发音准确性和自然度方面都非常的优秀。
WhisperSpeech 项目路线图：
-声学标记提取：改进声学标记的提取过程。
-语义标记提取：使用Whisper模型生成和量化语义标记。
-S->A模型转换：开发将语义标记转换为声学标记的模型。
-T->S模型转换：实现从文本标记到语义标记的转换。
-提升EnCodec语音质量：优化EnCodec模型以提高语音合成质量。
-短句推理优化：改善系统处理短句的能力。
-扩展情感语音数据集：收集更大的情感语音数据。
-文档化LibriLight数据集：详细记录HuggingFace上的数据集。
-多语言语音收集：聚集社区资源，收集多种语言的语音。
-训练多语言模型：开发支持多语言的文本到语音模型。
GitHub：https://github.com/collabora/WhisperSpeech…
网站：https://collabora.github.io/WhisperSpeech/
在线体验：https://replicate.com/lucataco/whisperspeech-small
AI资讯
CSDN App 扫码分享
1
1
打赏
- 复制链接
- 举报
下一条：
SAMPLE：自动化蛋白质设计系统它可以自己设计和测试新的蛋白质，而不需要人类的帮助。就像一个能自己做实验的机器人科学家。它能自主学习蛋白质的结构和功能之间的关系，然后自己进行蛋白质设计，同时在实验室里自动进行测试。SAMPLE由一个AI代理驱动，可广泛应用于生物工程和合成生物学。研究团队用这个系统在一个特定的蛋白质领域（糖苷水解酶）进行了实验。他们让四个这样的机器人系统自主工作，这些系统通过自己的学习和实验，成功地创造出了一些比原始蛋白质更稳定的新蛋白质。背景知识：蛋白质工程是一个复杂的工程，用于创造具有有用功能和行为的新蛋白质，但它过程缓慢、费力且需要专业知识，限制了其广泛应用。威斯康星大学麦迪逊分校的研究人员开发出了一个结合人工智能和实验自动化的系统，可以在没有人工干预的情况下自主地进行蛋白质工程。SAMPLE主要能力：1、自主设计蛋白质：SAMPLE能够自己设计新的蛋白质结构，这是基于它对蛋白质序列与其功能关系的理解。2、自动化实验：SAMPLE通过全自动化的实验室设备来测试它设计的蛋白质。这包括合成基因、表达蛋白质，以及进行生化活性的测量。3、数据驱动的优化：SAMPLE通过分析实验结果来不断学习和优化，以改进其对蛋白质设计的理解。工作原理：1、智能代理：SAMPLE包括一个智能代理，这个代理利用已有的数据来学习蛋白质序列和功能之间的关系。这相当于一个内部模型，用于预测哪些蛋白质设计可能是有效的。2、实验反馈循环：智能代理设计蛋白质后，会将这些设计发送到实验室环境中进行测试。然后，它会接收实验数据并用这些信息来更新和改进其内部模型。3、探索与优化：SAMPLE在实验过程中平衡探索（尝试新的和不确定的设计）和优化（根据现有知识改进设计）。该研究结果已经发表在了Nature上：https://nature.com/articles/s44286-023-00002-4…论文：https://nature.com/articles/s44286-023-00002-4.pdf
