在Github上大火的ChatTTS究竟是个啥?
省流:文本转语音+声音克隆
听说很牛,究竟有多牛?
牛到作者毫不掩饰的说是目前为止的开源项目天花板
仅仅5天斩获了16k的关注,真是个好项目。
我试了试其中的效果,真的很NB,难怪这么多人关注这个项目。
介绍
-
ChatTTS是专门为对话场景设计的文本转语音模型,例如LLM助手对话任务。
-
它支持英文和中文两种语言。最大的模型使用了10万小时以上的中英文数据进行训练。
-
在HuggingFace中开源的版本为4万小时训练且未SFT的版本.
亮点
- 对话式 TTS: ChatTTS针对对话式任务进行了优化,实现了自然流畅的语音合成,同时支持多说话人。
- 细粒度控制: 该模型能够预测和控制细粒度的韵律特征,包括笑声、停顿和插入词等。
- 更好的韵律: ChatTTS在韵律方面超越了大部分开源TTS模型。同时提供预训练模型,支持进一步的研究。
ChatTTS的应用场景
-
ChatTTS适用于各种需要高质量语音合成的场景,包括但不限于:
-
电商直播:为直播提供更加自然的语音配音,提高用户体验。
-
自媒体:帮助自媒体创作者生成生动的配音,吸引更多观众。
-
在线教育:为在线课程提供清晰自然的讲解声音,提升学习效果。
-
客服和售后服务:提供更人性化的语音服务,提高客户满意度。
使用介绍
1:下载资源压缩包
我们提供了 2 套整合包,一套是软件君的,还有一套是ChatTTS-ui
2:本地启动程序
下载完成后,解压压缩包,点击”启动.exe”启动脚本
3:浏览器操作使用
-
text:指的是需要转换成语音的文字内容。
-
Refine text:选择是否自动对输入的文本进行优化处理。
-
随机度:一个控制输出随机性的参数,数值越大,生成的语音随机性越高,这可能导致生成的语音质量有时更好,有时更差。
-
声音选择:默认值为2222,这是一个数字参数,用于选择声音的类型。可选的数字有2222、7869、6653、4099、5099,可以任选其一,或者输入其他数字以随机选择声音。
-
定制声音:这是一个正整数参数,用于定制声音的音调和音色。如果设置了此值,将优先使用,而忽略声音选择参数。
-
提示设置:用于添加笑声、停顿等效果。例如,可以设置为[oral_2][laugh_0][break_6]。
软件君的整合包-更新记录
V1.0版本:2024-6-2
1、基于ChatTTS项目,支持保存音色,支持生成wav。