介绍
什么是Vtuber我就不多说了,目前的Vtuber大概要么是传统的基于Live2D,然后配合视频捕捉;要么就是3D模型结合动补设备来实现。本篇介绍的这个生成器主要是类似前者,因为即使是平面的Live2D,制作起来也是非常耗时费力的。
那么有没有这么一种方法可以直接从一张人设图直接生成可动的模型呢,然后配合视频捕捉出道Vtuber呢,这就是今天所介绍的生成器的功能。
原理
这是原作者的说明界面:https://pkhungurn.github.io/talking-head-anime/
里面较为详细介绍了他的生成器的原理和训练过程。
这里介绍一个图片生成网站:https://waifulabs.com/
一个可以生成老婆半身像的网站,作者用这个网站生成的图片来对软件进行测试,当然你也可以拿自己喜欢的图来测试。
试玩
这是原作者的源码:https://github.com/pkhungurn/talking-head-anime-demo
以下是我根据源码说明做的简单总结。
步骤:
pip install opencv-python
,安装dlib还有个坑,踩坑。
python app/manual_poser.py
,弹出界面,导入图片即可,这里的图片还必须是256x256的背景为空的png图片,人物的脸也要保持在中间位置,然后拖动滑块图片就能动了。强调一下这里仅仅是让图片动起来了,并不能生成其他的什么模型用于第三方软件,而且图片也挑的,不是随便张图片都能有很好的效果。
python app/puppeteer.py
应该是直接动补摄像头数据的,由于我电脑没有摄像头,后面有空再研究。
视频演示
后记
后来用手机摄像头连接电脑,测试了面捕功能,见视频的P2。
大佬您好,我利用window桌面远程连接linux服务器,但总是有bug,一直显示:
Traceback (most recent call last):
File "/data/wdx/pytorch/vtuber/talking-head-anime-demo-master/app/manual_poser.py", line 135, in <module>
File "/root/anaconda3/envs/wdxtorch2/lib/python3.6/tkinter/__init__.py", line 2023, in init
_tkinter.TclError: couldn't connect to display "192.168.43.1:0.0"
大佬,GPU利用率几乎是0%,卡成ppt,是没配置好吗
大佬,为什么我程序打开没问题,但是导入图片后显示File
试试左边目录手动添加图片
Exception in Tkinter callback
Traceback (most recent call last):
File "C:Users22318AppDataLocalContinuumanaconda3envspytorchlibtkinter__init__.py", line 1705, in call
File "C:Users22318AppDataLocalContinuumanaconda3envspytorchlibtkinter__init__.py", line 749, in callit
File "app/manual_poser.py", line 112, in update_image
File "C:Users22318Desktoptalking-head-anime-demo-masterposermorph_rotate_combine_poser.py", line 75, in pose
File "C:Users22318Desktoptalking-head-anime-demo-masterposermorph_rotate_combine_poser.py", line 47, in get_morph_module
File "C:Users22318Desktoptalking-head-anime-demo-masterutil.py", line 20, in torch_load
FileNotFoundError: [Errno 2] No such file or directory: 'data/face_morpher.pt
打开程序load图片后程序左边有图片,但是右边无法生成 (ó﹏ò。),上面是同时间显示的问题,但我不懂怎么解决
不懂就从头再来一遍(´・ω・`)
大佬我看有的视频可以直接把奥巴马的视频表情传递给二次元人物,请问那个要怎么弄啊?
作者好像没有直接提供,估计要修改一下源码才能实现
把调用openCV摄像头的那句改成视频文件相对路径
我在扣完图并投入使用时,角色周围会有一些杂色,请问dalao是如何解决的
尝试修改原有图片并输出使用,发现也会有杂色。
使用软件:ps
破案了,我拿gimp输出图片就没什么问题,输出时取消transparent pixels即可。
但我还是想知道为什么PS输出就不行?即使我设置了阿尔法通道,输出后还是不行
有杂色?我当时也用的ps抠的图,没有遇到杂色,是不是程序更新了一些东西带来的?
上面的网页有些打不开,是用了加速器吧
github和google不加速基本下不了
今天看了一下原作者的仓库,发现新添了不少提交,可以直接用
conda env create -f environment.yml
来一次性安装所有的库