音容笑貌,两臻佳妙,人工智能AI换脸(deepfake)技术复刻《卡萨布兰卡》名场面(Python3.10)

    影史经典《卡萨布兰卡》是大家耳熟能详的传世名作，那一首壮怀激烈，激奋昂扬的马赛曲，应当是通片最为激动人心的经典桥段了，本次我们基于faceswap和so-vits库让AI川普复刻美国演员保罗·亨雷德高唱《马赛曲》的名场面。

    配置人脸替换DeepFakes项目

    关于人脸替换，业内鼎鼎有名的deepfakes代表了这个人工智能细分领域的最高水平，旗下的faceswap库正好适合这种视频二次创作的场景。

    首先克隆faceswap项目：

git clone https://github.com/deepfakes/faceswap.git

    随后进入项目的目录：

cd faceswap

    确保本地已经配置好python3.10的开发环境。

    随后在根目录即可编译安装：

python3.10 setup.py

    这里的setup.py脚本会自动判断系统本地软件环境进行依赖的安装，如果想要手动安装依赖，也可以通过pip命令：

For Nvidia GPU users: pip install -r ./requirements/requirements_nvidia.txt
For AMD GPU users: pip install -r ./requirements/requirements_amd.txt
For CPU users: pip install -r ./requirements/requirements_cpu.txt

    这里分为三种用户，N卡用户使用requirements_nvidia.txt，也是最主流的解决方案，其次是A卡用户：requirements_amd.txt，最后是cpu用户requirements_cpu.txt。

    事实上，这里并不推荐cpu运行项目，因为无论是训练还是推理，速度实在是太慢了，就算是Intel最新的第十三代酷睿I9处理器，也是杯水车薪，更遑论苹果的M系列芯片，吹得再牛逼，也只是送人头的水平。

    所以，玩深度学习，最低的要求就是手里得有一块N卡，不需要太高端，倾家荡产买一块3090或者是4090其实没有任何必要，一块相对亲民的4050或者是4060足矣，当然，有钱任性则另当别论。

    至此，faceswap就配置好了。

    构建训练集

    让我们再来回顾一下需求场景，现在需要将懂王的脸替换到《卡萨布兰卡》中保罗·亨雷德的脸，所以我们现在需要收集两张脸，即原视频保罗·亨雷德的脸，以及替换者懂王的脸。

    此时原视频素材是存在的，即《卡萨布兰卡》电影，而懂王的脸则需要在网上寻找视频素材进行下载，这里需要注意的是，素材中最好包含脸部的特写，并且不包括其他人的脸，否则会在模型训练环节产生“噪音”。

    由于《卡萨布兰卡》中还有很多别的场景，而我们需要的只是保罗·亨雷德高唱《马赛曲》的面部特写片段，所以需要对素材进行剪辑，这里推荐使用ffmpeg，首先运行安装命令：

winget install ffmpeg

    接着将可执行目录配置到系统的环境变量中：

C:\Users\[用户名]\AppData\Local\Microsoft\WinGet\Packages\Gyan.FFmpeg_Microsoft.Winget.Source_8wekyb3d8bbwe\ffmpeg-6.0-full_build\bin

    随后通过命令将片段从原始素材中扣取出来：

ffmpeg -ss 01:34:00 -i 卡萨布兰卡.mp4 -to 01:55:00 -c copy 保罗面部素材.mp4

    这里视频素材就保存好了。

    接着利用faceswarp脚本将素材转换为面部的图片集合：

python3.10 faceswap.py extract -i ~/faceswap/src/保罗面部素材.mp4 -o ~/faceswap/faces/paul

    效果就是将视频逐帧进行保存，只保留面部信息：

    懂王的训练集也如法炮制。

    至此，训练集就构建好了。

    模型训练

    当训练集配置好之后，下一步就是模型训练，模型训练是指使用已知的数据集对机器学习模型进行调整和优化，以便它能够更准确地对未知数据进行预测，没错，所谓换脸，就是在处理预测问题。

    运行命令，开始训练：

python3.10 faceswap.py train -A ~/faceswap/faces/paul -B ~/faceswap/faces/trump -m ~/faceswap/mymodel/ -p

    这里A数据集为保罗的，B则是懂王，-m参数是模型的保存目录，-p参数则可以对模型效果进行预览。

    模型训练过程中会不断输出损失率函数，一般情况下，训练过程中损失率稳定在0.01左右代表模型已经收敛。

    训练过程中每隔一段时间会保存一次模型，程序中断后再次执行会在上次的模型基础上训练，训练需要手动停止，训练完后模型保存在上面指定的路径下。

    这里需要注意的是，模型训练过程将会付出大量的时间成本，多长时间取决于许多因素，使用的模型，训练集的数量，N卡等级等等。在GTX4060的GPU上大概5个小时左右损失率会相对稳定，如果在CPU上训练，短时间内很难看到损失率下降。

    本地推理

    模型训练完毕后，我们就可以使用模型来进行换脸的推理操作，这里有个问题需要澄清一下，即我们训练的不是通用模型，而是针对训练集的模型，也就是说，这个模型只是为了将原素材中保罗的脸替换为懂王的脸而训练的，并不是在任意素材中都能够这样替换。

    因此，就算模型有过拟合问题，也不会影响最终效果。

    所以，我们就可以直接使用训练集数据进行验证，运行命令进行推理：

python3.10 faceswap.py convert -i ~/faceswap/faces/paul -o ~/faceswap/faces/output -m ./mymodel/

    这里使用模型针对原训练集数据进行替换。

    效果如下：

    保罗英俊的面庞瞬间灰飞烟灭，懂王睿智的面容缓缓浮现。

    相同的流程，将片中好莱坞巨星英格丽·褒曼的脸：

    替换为漫威超级女英雄寡姐的脸：

    脸型有些违和，但音容宛在。

    最后，只须将《马赛曲》的歌声替换为懂王即可，请移步：AI天后,在线飙歌,人工智能AI孙燕姿模型应用实践，复刻《遥远的歌》，原唱晴子(Python3.10)  ，囿于篇幅，这里不再赘述。

    结语

    看到这里，相信很多朋友都不约而同地有了一些非常大胆却又不太成熟的想法，但请记住，无论何时何地，互联网都并非法外之地，当运行推理脚本的那一刻，需要思考一下自己是不是真的很刑。在Youtube(B站)搜索刘悦的技术博客，即可欣赏复刻版本的《卡萨布兰卡》，欢迎诸君品鉴。