介绍

什么是Vtuber我就不多说了,目前的Vtuber大概要么是传统的基于Live2D,然后配合视频捕捉;要么就是3D模型结合动补设备来实现。本篇介绍的这个生成器主要是针对前者,因为即使是平面的Live2D,制作起来也是非常耗时费力的。那么有没有这么一种方法可以直接从一张人设图直接生成可动的Live2D,然后配合视频捕捉出道Vtuber呢,这就是今天所介绍的生成器的功能。

原理

这是原作者的说明界面:https://pkhungurn.github.io/talking-head-anime/
里面较为详细介绍了他的生成器的原理和训练过程。
这里介绍一个图片生成网站:https://waifulabs.com/
一个可以生成老婆半身像的网站,作者用这个网站生成的图片来对软件进行测试,当然你也可以拿自己喜欢的图来测试。

试玩

这是原作者的源码:https://github.com/pkhungurn/talking-head-anime-demo
以下是我根据源码说明做的简单总结。
步骤:

1. 安装PyTorch,我也是才刚上手,PyTorch安装

2. 下载上面的源码,下载这里的模型数据,还有这个文件并把文件按说明放好
不过上面的我已经都下载放好了>>demo下载

3. 运行要先安装cv2和dlib库,否则会报错,安装cv2用pip install opencv-python ,安装dlib还有个坑,踩坑。我把我的Pytorch环境打了个包,解压复制到Anaconda的envs目录下应该就可以启用(大概)

4. 进入PyTorch环境,cd到项目文件夹,输入python app/manual_poser.py,弹出界面,导入图片即可,这里的图片还必须是256x256的背景为空的png图片,人物的脸也要保持在中间位置,然后拖动滑块就能动了,到这里由图片生成Live2D就成功了。

5. 作者原文里还有一个python app/puppeteer.py应该是直接动补摄像头数据的,由于我电脑没有摄像头,后面有空再研究。

视频演示

Last modification:February 15th, 2020 at 11:34 pm