ChatTTS,语气韵律媲美真人的开源TTS模型,文字转语音界的新魁首,对标微软Azure-tts

    前两天 2noise 团队开源了ChatTTS项目，并且释出了相关的音色模型权重，效果确实非常惊艳，让人一听难忘，即使摆在微软的商业级项目Azure-tts面前，也是毫不逊色的。

    ChatTTS是专门为对话场景设计的文本转语音模型，例如大语言助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万小时以上的中英文数据进行训练。目前在huggingface中的开源版本为4万小时训练且未SFT的版本。

    本次分享一下如何在本地部署ChatTTS项目。

    配置ChatTTS环境

    首先确保本地已经安装好Anaconda软件包，运行命令创建虚拟环境:

conda create -n ChatTTS python=3.11

    之所以选择Python3.11的版本，是因为该版本的整体性能更好。

    随后克隆官方的项目：

git clone https://github.com/2noise/ChatTTS.git

    进入项目

cd ChatTTS

    激活虚拟环境

conda activate ChatTTS

    安装项目依赖：

pip install -r requirements.txt

    最后安装gpu版本的torch:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

    注意这里默认的cuda版本是12.1，如果你的本地cuda是11.8，那么就安装对应11.8的torch:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

    至此，环境就配置好了。

    ChatTTS的基本使用

    首先，是最基本的文字转语音功能：

import ChatTTS
from IPython.display import Audio

chat = ChatTTS.Chat()
chat.load_models()

texts = ["你好啊",]

wavs = chat.infer(texts, use_decoder=True)
Audio(wavs[0], rate=24_000, autoplay=True)

    这里 ChatTTS 是项目内的文件夹模块，初始化后直接调用infer方法即可进行音频推理。

    需要注意的是，首次运行会默认在Huggingface上下载模型，需要学术上网环境。

    ChatTTS的进阶用法

###################################
# Sample a speaker from Gaussian.
import torch
std, mean = torch.load('ChatTTS/asset/spk_stat.pt').chunk(2)
rand_spk = torch.randn(768) * std + mean

params_infer_code = {
  'spk_emb': rand_spk, # add sampled speaker 
  'temperature': .3, # using custom temperature
  'top_P': 0.7, # top P decode
  'top_K': 20, # top K decode
}

###################################
# For sentence level manual control.

# use oral_(0-9), laugh_(0-2), break_(0-7) 
# to generate special token in text to synthesize.
params_refine_text = {
  'prompt': '[oral_2][laugh_0][break_6]'
} 

wav = chat.infer("<PUT YOUR TEXT HERE>", params_refine_text=params_refine_text, params_infer_code=params_infer_code)

###################################
# For word level manual control.
# use_decoder=False to infer faster with a bit worse quality
text = 'What is [uv_break]your favorite english food?[laugh][lbreak]'
wav = chat.infer(text, skip_refine_text=True, params_infer_code=params_infer_code, use_decoder=False)

    这里通过 std, mean = torch.load('ChatTTS/asset/spk_stat.pt').chunk(2) 方法来固定音色。

    随后通过 params_refine_text 来人为的增加笑声和断句。

    ChatTTS的中文样例

    最后是一个ChatTTS的中文推理例子：

inputs_cn = """
chat T T S 是一款强大的对话式文本转语音模型。它有中英混读和多说话人的能力。
chat T T S 不仅能够生成自然流畅的语音，还能控制[laugh]笑声啊[laugh]，
停顿啊[uv_break]语气词啊等副语言现象[uv_break]。这个韵律超越了许多开源模型[uv_break]。
请注意，chat T T S 的使用应遵守法律和伦理准则，避免滥用的安全风险。[uv_break]'
""".replace('\n', '')

params_refine_text = {
  'prompt': '[oral_2][laugh_0][break_4]'
} 
audio_array_cn = chat.infer(inputs_cn, params_refine_text=params_refine_text)
audio_array_en = chat.infer(inputs_en, params_refine_text=params_refine_text)

    文本内容可以通过[laugh]和[uv_break]标识来进行笑声和语气停顿的定制化操作

    结语

    诚然，没有完美的产品，ChatTTS的模型稳定性似乎还有待提高, 偶尔会出现其他音色或音质很差的现象，这是自回归模型通常都会出现的问题，说话人的音色也有可能会在一定范围内变化, 可能会采样到音质非常差的结果, 这通常难以避免. 可以多采样几次来找到合适的结果，俗称抽卡，最后奉上一键整合包，与众乡亲同飨：

ChatTTS新版整合包：https://pan.quark.cn/s/e07f47edf82a