前言
偶然在 果壳的推送 中看到这个项目:https://shihmengli.github.io/3D-Photo-Inpainting/
感觉很有意思,可以将一张普通的2D照片经过处理得到一张具有深度空间的3D照片,准确点来说这应该叫2.5D比较像。应该是基于Pytorch训练出来的模型,官网展示的效果都相当惊艳。
官网展示的都是现实中照片,下面我试着对动漫图片进行处理,看看能不能得到一个“3D老婆”。
实践
官网拉到下面的Links,开发者提供了github链接和Golab链接,github链接的文档有详细的本地部署说明,用的是Anaconda部署的。
这里我笔记本不便于运行这种大项目,好在它直接提供了Golab的demo,只要你有一个谷歌账号或者说是gmail邮箱,然后能上得了人家的Colab网站,直接点击官网的Demo或者下面的链接就可以在线部署运行了。
https://colab.research.google.com/drive/1706ToQrkIZshRSJSHvZ1RuCiM__YX3Bz
先点击切换到playgrand模式,当然你也可以继续点击复制到云端硬盘来创建属于你的副本。
然后按顺序一路点击运行即可,中间需要的只有漫长的等待。运行前可以先看下它遗留的那一长串运行结果,我们命令执行完成后会得到与之相同的输出结果,如果哪一句运行失败继续点击重新运行直至成功。
运行下面这一句上传一张原始jpg图片,上传的图片会放在左边image目录下,上传前最好清空image目录下的图片防止后面一步读取到错误的图片。
有时候由于连接性问题会上传不上去,这时候可以试试手动上传然后将图片拖动到image目录下。
最后一步生成3D深度图片,这里也需要等待。。。
生成的可视化视频在video目录下,每次程序会生成四个不同角度的的视频,双击可下载到本地。
视频演示
B站上面部分图片打了码,下面是原视频。
36 条评论
楼主,剪映有个3d运镜,感觉和这个很像哎
好的,我已成功混入。
再请教一下,这个右下的紫毛是要以什么文件格式导入?
我也不清楚,你自己看文档吧 https://docs.paul.ren/pio/#/?id=pio
想要第一个的原图|´・ω・)ノ
https://pan.2bboy.com/img/setu/b63193ade08539860888ecc17787b513.jpg
我很喜欢右下角的小人OωO
M为什么清空上传后下载的视频还是默认的
最后那步没生成成功或者你没刷新目录
可以把默认的视频和图片都删掉然后放新图片生成吗?
视频无所谓,图片最好确保只有一张
就是有些模糊,作品是清晰的
已成功,非常感谢
为什么最后一步显示running on device 0?
要jpg格式的,文件名不要过长,最好不要有中文
菜单修改将笔记本设置改为GPU试试?可能项目最近更新了一些设置?只有多试试了
请问为什么content下的目录会经常消失?每次都要运行%cd /content/
!git clone https://github.com/vt-vl-lab/3d-photo-inpainting.git
%cd 3d-photo-inpainting
!sh download.sh
连接问题,一段时间不活动平台就主动和你断开连接,重新显示内容就需要你重新连接,随便运行某句代码都行,不一定非得这句
我也想建站( ,,´・ω・)ノ"(´っω・`。)
点进链接连接失败啊
谢谢大佬 某些主体突出或者背景有空间感的图确实处理出来的效果非常不错啊
似乎图片格式为png会出错 直接改后缀是同意无效的 使用格式转换工具(格式工厂)转一下格式就可以正常转3d了