介绍

什么是Vtuber我就不多说了，目前的Vtuber大概要么是传统的基于Live2D，然后配合视频捕捉；要么就是3D模型结合动补设备来实现。本篇介绍的这个生成器主要是类似前者，因为即使是平面的Live2D，制作起来也是非常耗时费力的。
那么有没有这么一种方法可以直接从一张人设图直接生成可动的模型呢，然后配合视频捕捉出道Vtuber呢，这就是今天所介绍的生成器的功能。

原理

这是原作者的说明界面：https://pkhungurn.github.io/talking-head-anime/
里面较为详细介绍了他的生成器的原理和训练过程。
这里介绍一个图片生成网站：https://waifulabs.com/
一个可以生成老婆半身像的网站，作者用这个网站生成的图片来对软件进行测试，当然你也可以拿自己喜欢的图来测试。

试玩

这是原作者的源码：https://github.com/pkhungurn/talking-head-anime-demo
以下是我根据源码说明做的简单总结。
步骤：

1. 安装PyTorch，电脑要求必须是能支持CUDA的N卡才行，PyTorch安装

后面作者的源码和readme都进行了一定更新，建议自己根据源码里的readme进行部署，本文的文件和方法可能过时，仅供参考。

2. 下载上面的源码，然后下载这里的模型数据 和 这个文件。下载好后把文件按源码说明解压放到data目录下。

3. 接下来要安装相应的库，简单点就按作者文档里的运行要先安装cv2和dlib库，否则会报错，安装cv2用 pip install opencv-python ,安装dlib还有个坑，踩坑。

4. 进入PyTorch环境，cd到项目文件夹，输入 python app/manual_poser.py，弹出界面，导入图片即可，这里的图片还必须是256x256的背景为空的png图片，人物的脸也要保持在中间位置，然后拖动滑块图片就能动了。
强调一下这里仅仅是让图片动起来了，并不能生成其他的什么模型用于第三方软件，而且图片也挑的，不是随便张图片都能有很好的效果。

5. 作者原文里还有一个 python app/puppeteer.py应该是直接动补摄像头数据的，由于我电脑没有摄像头，后面有空再研究。

视频演示

后记

后来用手机摄像头连接电脑，测试了面捕功能，见视频的P2。

最后修改：2020 年 07 月 29 日
© 允许规范转载
你的赞赏是我前进的动力