实践

    GPT-SoVITS是少有的可以在MacOs系统下训练和推理的TTS项目，虽然在效率上没有办法和N卡设备相提并论，但终归是开发者在MacOs系统构建基于M系列芯片AI生态的第一步。    环境搭建    首先要确保本地环境已经安装好版本大于6.1的FFMPEG软件：(base) ➜ ~ ffmpeg -versionffmpeg version 6.1.1 Copyright (c) 2000-2023 the FFmpeg ......

    阿里的FunAsr对Whisper中文领域的转写能力造成了一定的挑战，但实际上，Whisper的使用者完全可以针对中文的语音做一些优化的措施，换句话说，Whisper的“默认”形态可能在中文领域斗不过FunAsr，但是经过中文特殊优化的Whisper就未必了。    中文文本标注优化    Whisper经常被人诟病的一点是对中文语音转写后标点符号的支持不够完备。首先安装whisper:pip install -U openai......

    假如我们一定要说深度学习入门会有一定的门槛，那么设备成本是一个无法避开的话题。深度学习模型通常需要大量的计算资源来进行训练和推理。较大规模的深度学习模型和复杂的数据集需要更高的计算能力才能进行有效的训练。因此，训练深度学习模型可能需要使用高性能的计算设备，如图形处理器（GPU）或专用的深度学习处理器（如TPU），这让很多本地没有N卡的同学望而却步。    GoogleColab是由Google提供的一种基于云的免费Jupyter笔记本环境。它可以帮......

    Bert-vits2更新了版本V210，修正了日/英的bert对齐问题，效果进一步优化；对底模使用的数据进行优化和加量，减少finetune失败以及电音的可能性；日语bert更换了模型，完善了多语言推理。    更多情报请参考Bert-vits2官网：https://github.com/fishaudio/Bert-VITS2/releases/tag/2.1    最近的事情大家也都晓得了，马督工义无反顾带头冲锋，身体力行地......

    Faster-Whisper是Whisper开源后的第三方进化版本，它对原始的 Whisper 模型结构进行了改进和优化。这包括减少模型的层数、减少参数量、简化模型结构等，从而减少了计算量和内存消耗，提高了推理速度，与此同时，Faster-Whisper也改进了推理算法、优化计算过程、减少冗余计算等，用以提高模型的运行效率。    本次我们利用Faster-Whisper对日语视频进行双语(日语/国语)转录实践，看看效率如何。  &nbs......

    诸公可知目前最牛逼的TTS免费开源项目是哪一个？没错，是Bert-vits2，没有之一。它是在本来已经极其强大的Vits项目中融入了Bert大模型，基本上解决了VITS的语气韵律问题，在效果非常出色的情况下训练的成本开销普通人也完全可以接受。    BERT的核心思想是通过在大规模文本语料上进行无监督预训练，学习到通用的语言表示，然后将这些表示用于下游任务的微调。相比传统的基于词嵌入的模型，BERT引入了双向上下文信息的建模，使得模型能够更好地理解......

    云端炼丹固然是极好的，但不能否认的是，成本要比本地高得多，同时考虑到深度学习的训练相对于推理来说成本也更高，这主要是因为它需要大量的数据、计算资源和时间等资源，并且对超参数的调整也要求较高，更适合在云端进行。    在推理阶段，模型的权重和参数不再调整。相反，模型根据输入数据的特征进行计算，并输出预测结果。推理阶段通常需要较少的计算资源和时间，所以训练我们可以放在云端，而批量推理环节完全可以挪到本地，这样更适合批量的声音克隆场景。  &n......

    忽如一夜春风来，亚洲天后孙燕姿独特而柔美的音色再度响彻华语乐坛，只不过这一次，不是因为她出了新专辑，而是人工智能AI技术对于孙燕姿音色的完美复刻，以大江灌浪之势对华语歌坛诸多经典作品进行了翻唱，还原度令人咋舌，如何做到的?    本次我们借助基于Python3.10的开源库so-vits-svc，让亚洲天后孙燕姿帮我们免费演唱喜欢的歌曲，实现点歌自由。    so-vits-svc是基于VITS的开源项目，VITS（Variat......

    业界良心OpenAI开源的Whisper模型是开源语音转文字领域的执牛耳者，白璧微瑕之处在于无法通过苹果M芯片优化转录效率，Whisper.cpp 则是 Whisper 模型的 C/C++ 移植版本，它具有无依赖项、内存使用量低等特点，重要的是增加了 Core ML 支持，完美适配苹果M系列芯片。    Whisper.cpp的张量运算符针对苹果M芯片的 CPU 进行了大量优化，根据计算大小，使用 Arm Neon SIMD instrisics ......

    当我们使用ChatGPT完成某些工作的时候，往往需要多轮对话，比如让ChatGPT分析、翻译、总结一篇网上的文章或者文档，再将总结的结果以文本的形式存储在本地。过程中免不了要和ChatGPT“折冲樽俎”一番，事实上，这个“交涉”的过程也可以自动化，AutoGPT可以帮助我们自动拆解任务，没错，程序能做到的事情，人类绝不亲力亲为。    我们唯一需要做的，就是告诉AutoGPT一个任务目标，AutoGPT会自动根据任务目标将任务拆解成一个个的小任务，......

    在视频剪辑工作中，假设我们拿到了一段电影或者电视剧素材，如果直接在剪辑的视频中播放可能会遭遇版权问题，大部分情况需要分离其中的人声和背景音乐，随后替换背景音乐进行二次创作，人工智能AI库Spleeter可以帮我们完成大部分素材的人声和背景音乐的分离流程。    Spleeter的模型源来自最大的音乐网站Deezer，底层基于深度学习框架Tensorflow，它可以通过模型识别出素材中的背景音乐素材，从而判断出哪些是背景音乐，哪些是外部人声。&nbs......

    不能否认，微软Azure在TTS(text-to-speech文字转语音)这个人工智能细分领域的影响力是统治级的，一如ChatGPT在NLP领域的随心所欲，予取予求。君不见几乎所有的抖音营销号口播均采用微软的语音合成技术，其影响力由此可见一斑，仅有的白璧微瑕之处就是价格略高，虽然国内也可以使用科大讯飞语音合成进行平替，但我们只想要最好的那一个，本次我们使用免费的开源库edge-tts来实现文本转语音操作，薅微软edge的羊毛。    TTS文本转语......

    人工智能太疯狂，传统劳动力和内容创作平台被AI枪毙，弃尸尘埃。并非空穴来风，也不是危言耸听，人工智能AI图像增强框架ControlNet正在疯狂地改写绘画艺术的发展进程，你问我绘画行业未来的样子？我只好指着ControlNet的方向。本次我们在M1/M2芯片的Mac系统下，体验人工智能登峰造极的绘画艺术。    本地安装和配置ControlNet    ControlNet在HuggingFace训练平台上也有体验版，请参见： ......

    Golang可以通过Gorm包来操作数据库，所谓ORM，即Object Relational Mapping（数据关系映射），说白了就是通过模式化的语法来操作数据库的行对象或者表对象，对比相对灵活繁复的SQL语句，ORM上手简单，通用性较高，但是在性能层面略有损耗，Gorm的底层是结构体对象，关于结构体，请移玉步至：你有对象类,我有结构体,Go lang1.18入门精炼教程，由白丁入鸿儒，go lang结构体(struct)的使用EP06。    ......

    我们一直都相信这样一种说法：协程是比多线程更高效的一种并发工作方式，它完全由程序本身所控制，也就是在用户态执行，协程避免了像线程切换那样产生的上下文切换，在性能方面得到了很大的提升。毫无疑问，这是颠扑不破的业界共识，是放之四海而皆准的真理。    但事实上，协程远比大多数人想象中的复杂，正因为协程的“用户态”特性，任务调度权掌握在撰写协程任务的人手里，而仅仅依赖async和await关键字远远达不到“调度”的级别，有时候反而会拖累任务效率，使其在任......

    PWA（Progressive web apps，渐进式 Web 应用）使用现代的 Web API 以及传统的渐进式增强策略来创建跨平台 Web 应用程序，说白了，PWA可以让我们的站点以原生APP的形式运行，但相比于安装原生APP应用，访问PWA显然更加容易和迅速，还可以通过链接来分享PWA应用。    有许多知名的网络平台已经将 PWA 方案落地，比如Twitter。选择增强的网站体验而不是原生应用。事实上使用PWA也确实从中获得了显而易见的益......

    曾几何时，SVG(Scalable Vector Graphics)矢量动画图在坊间称之为一种被浏览器诅咒的技术，只因为糟糕的硬件支持(IE)，和没完没了的兼容性调优(Safari)。但是在2022年的今天，一切都不一样了，正所谓三十年河东，三十年河西，微软所研发的采用Chromium内核作为IE替代者的Edge浏览器已经有望超越Safari成为第二大桌面浏览器，而曾经因为不支持关键帧动画被人诟病的Safari也统一了标准，市面上除了老帮菜IE，几乎所有平台(包括移动......

    容器，又见容器。Docker容器的最主要优点就在于它们是可移植的。一套服务，其所有的依赖关系可以捆绑到一个独立于Linux内核、平台分布或部署模型的主机版本的单个容器中。此容器可以传输到另一台运行Docker的主机上，并且在没有兼容性问题的情况下执行。而传统的微服务架构会将各个服务单独封装为容器，虽然微服务容器化环境能够在给定数量的基础架构内实现更高的工作负载密度，但是，在整个生产环境中创建、监视和销毁的容器需求总量呈指数级增长，从而显著增加了基于容器管理环境的复杂性......

    前段时间，业界鼎鼎有名的动漫风格转化滤镜库AnimeGAN发布了最新的v2版本，一时间街谈巷议，风头无两。提起二次元，目前国内用户基数最大的无疑是抖音客户端，其内置的一款动画转换滤镜“变身漫画”，能够让用户在直播中，把自己的实际外貌转换为二次元“画风”。对于二次元粉丝来说，“打破次元壁，变身纸片人”这种自娱自乐方式可谓屡试不爽：    但是看多了就难免有些审美疲劳，千人一面的“锥子脸”，一成不变的“卡姿兰”式大眼睛，让人多少有点味同嚼蜡的感觉，未免......

    我们知道，在前端界有一个共识：速度就是生命，带宽就是金钱。怎样将页面加载速度有效提升是无数前端工程师无时不刻在思考的课题，目前的网络环境中，除了视频，图片仍旧是占用流量较大的一部分，对于app端尤其如此，因此，如何在保证图片视觉不失真的前提下缩小图片体积，对于节省带宽和电池电量都十分重要，因此Google在十年前提出了一种新的图片压缩格式 ：WebP，给图片的优化提供了新的方向。    WebP的优势在于它具有更优的图像数据压缩算法，在拥有肉眼几乎......