MaskGCT,AI语音克隆大模型本地部署(Windows11),基于Python3.11,TTS,文字转语音by Liu Yue/2024-10-28 标签: ai MaskGCT Python3.11 TTS Windows11 克隆 基于 文字 本地 模型 语音 部署 前几天，又一款非自回归的文字转语音的AI模型：MaskGCT，开放了源码，和同样非自回归的F5-TTS模型一样，MaskGCT模型也是基于10万小时数据集Emilia训练而来的，精通中英日韩法德6种语言的跨语种合成。数据集Emilia是全球最大且最为多样的高质量多语种语音数据集之一。 本次分享一下如何在本地部署MaskGCT项目，让您的显卡再次发烧。 安装基础依赖 首先确保本地已经安装好Py......了解更多
CosyVoice多语言、音色和情感控制模型，one-shot零样本语音克隆模型本地部署(Win/Mac),通义实验室开源by Liu Yue/2024-07-07 标签: CosyVoice Mac shot win 克隆 实验室 开源 情感 控制 本地 样本 模型 语言 语音 通义 部署 音色 近日，阿里通义实验室开源了CosyVoice语音模型，它支持自然语音生成，支持多语言、音色和情感控制，在多语言语音生成、零样本语音生成、跨语言声音合成和指令执行能力方面表现卓越。 CosyVoice采用了总共超15万小时的数据训练，支持中英日粤韩5种语言的合成，合成效果显著优于传统语音合成模型。 CosyVoice支持one-shot音色克隆 ：仅需要3~10s的原始音频，即可生成模拟音色，甚至包括韵律、情感等细节。在......了解更多
ChatTTS,语气韵律媲美真人的开源TTS模型,文字转语音界的新魁首,对标微软Azure-ttsby Liu Yue/2024-05-31 标签: Azure ChatTTS TTS 媲美 对标 开源 微软 文字 模型 真人 语气 语音 韵律 魁首 前两天 2noise 团队开源了ChatTTS项目，并且释出了相关的音色模型权重，效果确实非常惊艳，让人一听难忘，即使摆在微软的商业级项目Azure-tts面前，也是毫不逊色的。 ChatTTS是专门为对话场景设计的文本转语音模型，例如大语言助手对话任务。它支持英文和中文两种语言。最大的模型使用了10万小时以上的中英文数据进行训练。目前在huggingface中的开源版本为4万小时训练且未SFT的版本。 本次分享一下......了解更多
OpenVoiceV2本地部署教程,苹果MacOs部署流程,声音响度统一,文字转语音,TTSby Liu Yue/2024-05-10 标签: MacOs OpenVoiceV2 TTS 响度 声音 教程 文字 本地 流程 统一 苹果 语音 部署 最近OpenVoice项目更新了V2版本，新的模型对于中文推理更加友好，音色也得到了一定的提升，本次分享一下如何在苹果的MacOs系统中本地部署OpenVoice的V2版本。 首先下载OpenVoiceV2的压缩包：OpenVoiceV2-for-mac代码和模型 https://pan.quark.cn/s/33dc06b46699 该版本针对MacOs系统做了一些优化，同时针对中文语音做了响度统一的修改。&nbs......了解更多
Whisper对于中文语音识别与转写中文文本优化的实践(Python3.10)by Liu Yue/2024-01-25 标签: Python3.10 Whisper 中文 优化 实践 对于 文本 识别 语音 转写 阿里的FunAsr对Whisper中文领域的转写能力造成了一定的挑战，但实际上，Whisper的使用者完全可以针对中文的语音做一些优化的措施，换句话说，Whisper的“默认”形态可能在中文领域斗不过FunAsr，但是经过中文特殊优化的Whisper就未必了。 中文文本标注优化 Whisper经常被人诟病的一点是对中文语音转写后标点符号的支持不够完备。首先安装whisper:pip install -U openai......了解更多
如何快速部署本地训练的 Bert-VITS2 语音模型到 Hugging Faceby Liu Yue/2024-01-15 标签: Bert Face Hugging vits2 如何 快速 本地 模型 训练 语音 部署 Hugging Face是一个机器学习（ML）和数据科学平台和社区，帮助用户构建、部署和训练机器学习模型。它提供基础设施，用于在实时应用中演示、运行和部署人工智能（AI）。用户还可以浏览其他用户上传的模型和数据集。Hugging Face通常被称为机器学习界的GitHub，因为它让开发人员公开分享和测试他们所训练的模型。 本次分享如何快速部署本地训练的 Bert-VITS2 语音模型到 Hugging Face。 本......了解更多
中文语音识别转文字的王者,阿里达摩院FunAsr足可与Whisper相颉顽by Liu Yue/2024-01-10 标签: FunAsr Whisper 中文 文字 王者 相颉 识别 语音 达摩院 阿里 君不言语音识别技术则已，言则必称Whisper，没错，OpenAi开源的Whisper确实是世界主流语音识别技术的魁首，但在中文领域，有一个足以和Whisper相颉顽的项目，那就是阿里达摩院自研的FunAsr。 FunAsr主要依托达摩院发布的Paraformer非自回归端到端语音识别模型，它具有高精度、高效率、便捷部署的优点，支持快速构建语音识别服务，最重要的是，FunASR支持标点符号识别、低语音识别、音频-视觉语音识别等功能，也就是说，......了解更多
字正腔圆,万国同音,coqui-ai TTS跨语种语音克隆,钢铁侠讲16国语言(Python3.10)by Liu Yue/2024-01-04 标签: 16 ai coqui Python3.10 TTS 万国 克隆 同音 字正腔圆 语种 语言 语音 钢铁 按照固有的思维方式，如果想要语音克隆首先得有克隆对象具体的语言语音样本，换句话说，克隆对象必须说过某一种语言的话才行，但现在，coqui-ai TTS V2.0版本做到了，真正的跨语种无需训练的语音克隆技术。 coqui-ai TTS实现跨语种、无需训练克隆语音的方法是基于Tacotron模型，该模型使用了一种音素输入表示来鼓励在不同语种之间共享模型容量。此外，还引入了对抗损失项，以鼓励模型将说话者身份与语音内容进行解耦。这使得模型能够在不同......了解更多
栩栩如生,音色克隆,Bert-vits2文字转语音打造鬼畜视频实践(Python3.10)by Liu Yue/2023-10-23 标签: Bert Python3.10 vits2 克隆 实践 打造 文字 栩栩如生 视频 语音 音色 鬼畜 诸公可知目前最牛逼的TTS免费开源项目是哪一个？没错，是Bert-vits2，没有之一。它是在本来已经极其强大的Vits项目中融入了Bert大模型，基本上解决了VITS的语气韵律问题，在效果非常出色的情况下训练的成本开销普通人也完全可以接受。 BERT的核心思想是通过在大规模文本语料上进行无监督预训练，学习到通用的语言表示，然后将这些表示用于下游任务的微调。相比传统的基于词嵌入的模型，BERT引入了双向上下文信息的建模，使得模型能够更好地理解......了解更多
声音好听,颜值能打,基于PaddleGAN给人工智能AI语音模型配上动态画面(Python3.10)by Liu Yue/2023-05-18 标签: ai PaddleGAN Python3.10 人工智能 动态 基于 声音 好听 模型 画面 语音 颜值 借助So-vits我们可以自己训练五花八门的音色模型，然后复刻想要欣赏的任意歌曲，实现点歌自由，但有时候却又总觉得少了点什么，没错，缺少了画面，只闻其声，却不见其人，本次我们让AI川普的歌声和他伟岸的形象同时出现，基于PaddleGAN构建“靓声靓影”的“懂王”。 PaddlePaddle是百度开源的深度学习框架，其功能包罗万象，总计覆盖文本、图像、视频三大领域40个模型，可谓是在深度学习领域无所不窥。 Paddle......了解更多
极速进化,光速转录,C++版本人工智能实时语音转文字(字幕/语音识别)Whisper.cpp实践by Liu Yue/2023-05-04 标签: C++ cpp Whisper 人工智能 光速 字幕 实时 实践 文字 极速 版本 识别 语音 转录 进化 业界良心OpenAI开源的Whisper模型是开源语音转文字领域的执牛耳者，白璧微瑕之处在于无法通过苹果M芯片优化转录效率，Whisper.cpp 则是 Whisper 模型的 C/C++ 移植版本，它具有无依赖项、内存使用量低等特点，重要的是增加了 Core ML 支持，完美适配苹果M系列芯片。 Whisper.cpp的张量运算符针对苹果M芯片的 CPU 进行了大量优化，根据计算大小，使用 Arm Neon SIMD instrisics ......了解更多
口播神器,基于Edge,微软TTS(text-to-speech)文字转语音免费开源库edge-tts语音合成实践(Python3.10)by Liu Yue/2023-03-07 标签: Edge Python3.10 speech text TTS 免费 口播 合成 基于 实践 开源 微软 文字 神器 语音 不能否认，微软Azure在TTS(text-to-speech文字转语音)这个人工智能细分领域的影响力是统治级的，一如ChatGPT在NLP领域的随心所欲，予取予求。君不见几乎所有的抖音营销号口播均采用微软的语音合成技术，其影响力由此可见一斑，仅有的白璧微瑕之处就是价格略高，虽然国内也可以使用科大讯飞语音合成进行平替，但我们只想要最好的那一个，本次我们使用免费的开源库edge-tts来实现文本转语音操作，薅微软edge的羊毛。 TTS文本转语......了解更多
吾剑未尝不利,国内Azure平替,科大讯飞人工智能免费AI语音合成(TTS)服务Python3.10接入by Liu Yue/2023-02-08 标签: ai Azure Python3.10 TTS 不利 人工智能 免费 合成 国内 平替 接入 服务 未尝 科大 语音 微软Azure平台的语音合成(TTS)技术确实神乎其技，这一点在之前的一篇：含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)，已经做过详细介绍，然则Azure平台需要信用卡验证，有一定门槛，对国内用户不太友好，放眼神州，科大讯飞的讯飞开放平台也有语音合成服务接口，可以通过语音合成流式接口将文字信息转化为声音信息。 创建语音应用 首先注册讯飞开放平台，随后创建语音......了解更多
闻其声而知雅意,M1 Mac基于PyTorch(mps/cpu/cuda)的人工智能AI本地语音识别库Whisper(Python3.10)by Liu Yue/2023-01-17 标签: ai CPU cuda M1 Mac mps Python3.10 Pytorch Whisper 人工智能 基于 本地 而知 识别 语音 闻其声 雅意 前文回溯，之前一篇：含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)，利用AI技术将文本合成语音，现在反过来，利用开源库Whisper再将语音转回文字，所谓闻其声而知雅意。 Whisper 是一个开源的语音识别库，它是由Facebook AI Research (FAIR)开发的，支持多种语言的语音识别。它使用了双向循环神经网络（bi-directional RNNs）来识别语音并将其转......了解更多
含辞未吐,声若幽兰,史上最强免费人工智能AI语音合成TTS服务微软Azure(Python3.10接入)by Liu Yue/2022-11-27 标签: ai Azure Python3.10 TTS 人工智能 免费 史上 合成 含辞 声若 幽兰 微软 接入 最强 服务 语音 所谓文无第一，武无第二，云原生人工智能技术目前呈现三足鼎立的态势，微软，谷歌以及亚马逊三大巨头各擅胜场，不分伯仲，但目前微软Azure平台不仅仅只是一个PaaS平台，相比AWS，以及GAE，它应该是目前提供云计算人工智能服务最全面的一个平台，尤其是语音合成领域，论AI语音的平顺、自然以及拟真性，无平台能出其右。 本次，我们通过Python3.10版本接入Azure平台语音合成接口，打造一款本地的TTS服务(文本转语音:Text To Spee......了解更多
