介绍
什么是Vtuber我就不多说了,目前的Vtuber大概要么是传统的基于Live2D,然后配合视频捕捉;要么就是3D模型结合动补设备来实现。本篇介绍的这个生成器主要是类似前者,因为即使是平面的Live2D,制作起来也是非常耗时费力的。
那么有没有这么一种方法可以直接从一张人设图直接生成可动的模型呢,然后配合视频捕捉出道Vtuber呢,这就是今天所介绍的生成器的功能。
原理
这是原作者的说明界面:https://pkhungurn.github.io/talking-head-anime/
里面较为详细介绍了他的生成器的原理和训练过程。
这里介绍一个图片生成网站:https://waifulabs.com/
一个可以生成老婆半身像的网站,作者用这个网站生成的图片来对软件进行测试,当然你也可以拿自己喜欢的图来测试。
试玩
这是原作者的源码:https://github.com/pkhungurn/talking-head-anime-demo
以下是我根据源码说明做的简单总结。
步骤:
1. 安装PyTorch,电脑要求必须是能支持CUDA的N卡才行,PyTorch安装
后面作者的源码和readme都进行了一定更新,建议自己根据源码里的readme进行部署,本文的文件和方法可能过时,仅供参考。
3. 接下来要安装相应的库,简单点就按作者文档里的运行要先安装cv2和dlib库,否则会报错,安装cv2用
pip install opencv-python
,安装dlib还有个坑,踩坑。
4. 进入PyTorch环境,cd到项目文件夹,输入
强调一下这里仅仅是让图片动起来了,并不能生成其他的什么模型用于第三方软件,而且图片也挑的,不是随便张图片都能有很好的效果。
python app/manual_poser.py
,弹出界面,导入图片即可,这里的图片还必须是256x256的背景为空的png图片,人物的脸也要保持在中间位置,然后拖动滑块图片就能动了。强调一下这里仅仅是让图片动起来了,并不能生成其他的什么模型用于第三方软件,而且图片也挑的,不是随便张图片都能有很好的效果。
5. 作者原文里还有一个
python app/puppeteer.py
应该是直接动补摄像头数据的,由于我电脑没有摄像头,后面有空再研究。
视频演示
后记
后来用手机摄像头连接电脑,测试了面捕功能,见视频的P2。
23 条评论
请问一下博主,那个单独test窗口是怎么做到的呀?
请问A卡可以实现吗
a卡可以做吗请问
大佬请问打开摄像头的时候这个报错是为什么
Traceback (most recent call last):
File "F:talking-head-anime-demo-masterapppuppeteer.py", line 202, in <module>
File "F:talking-head-anime-demo-masterapppuppeteer.py", line 85, in init
File "F:talking-head-anime-demo-masterapppuppeteer.py", line 119, in update_image
File "F:talking-head-anime-demo-masterapppuppeteer.py", line 175, in draw_face_box
cv2.error: OpenCV(4.5.2) :-1: error: (-5:Bad argument) in function 'line'
大佬您好,我利用window桌面远程连接linux服务器,但总是有bug,一直显示:
Traceback (most recent call last):
File "/data/wdx/pytorch/vtuber/talking-head-anime-demo-master/app/manual_poser.py", line 135, in <module>
File "/root/anaconda3/envs/wdxtorch2/lib/python3.6/tkinter/__init__.py", line 2023, in init
_tkinter.TclError: couldn't connect to display "192.168.43.1:0.0"
大佬,GPU利用率几乎是0%,卡成ppt,是没配置好吗
大佬,为什么我程序打开没问题,但是导入图片后显示File
试试左边目录手动添加图片
Exception in Tkinter callback
Traceback (most recent call last):
File "C:Users22318AppDataLocalContinuumanaconda3envspytorchlibtkinter__init__.py", line 1705, in call
File "C:Users22318AppDataLocalContinuumanaconda3envspytorchlibtkinter__init__.py", line 749, in callit
File "app/manual_poser.py", line 112, in update_image
File "C:Users22318Desktoptalking-head-anime-demo-masterposermorph_rotate_combine_poser.py", line 75, in pose
File "C:Users22318Desktoptalking-head-anime-demo-masterposermorph_rotate_combine_poser.py", line 47, in get_morph_module
File "C:Users22318Desktoptalking-head-anime-demo-masterutil.py", line 20, in torch_load
FileNotFoundError: [Errno 2] No such file or directory: 'data/face_morpher.pt
打开程序load图片后程序左边有图片,但是右边无法生成 (ó﹏ò。),上面是同时间显示的问题,但我不懂怎么解决
不懂就从头再来一遍(´・ω・`)
大佬我看有的视频可以直接把奥巴马的视频表情传递给二次元人物,请问那个要怎么弄啊?
作者好像没有直接提供,估计要修改一下源码才能实现
把调用openCV摄像头的那句改成视频文件相对路径