本站使用了 Pjax 等基于 JavaScript 的开发技术,但您的浏览器已禁用 JavaScript,请开启 JavaScript 以保证网站正常显示!

利用分层深度修补技术将2D图片3D化

前言

偶然在 果壳的推送 中看到这个项目:https://shihmengli.github.io/3D-Photo-Inpainting/
感觉很有意思,可以将一张普通的2D照片经过处理得到一张具有深度空间的3D照片,准确点来说这应该叫2.5D比较像。应该是基于Pytorch训练出来的模型,官网展示的效果都相当惊艳。
官网展示的都是现实中照片,下面我试着对动漫图片进行处理,看看能不能得到一个“3D老婆”。

实践

官网拉到下面的Links,开发者提供了github链接和Golab链接,github链接的文档有详细的本地部署说明,用的是Anaconda部署的。
这里我笔记本不便于运行这种大项目,好在它直接提供了Golab的demo,只要你有一个谷歌账号或者说是gmail邮箱,然后能上得了人家的Colab网站,直接点击官网的Demo或者下面的链接就可以在线部署运行了。
https://colab.research.google.com/drive/1706ToQrkIZshRSJSHvZ1RuCiM__YX3Bz
先点击切换到playgrand模式,当然你也可以继续点击复制到云端硬盘来创建属于你的副本。

然后按顺序一路点击运行即可,中间需要的只有漫长的等待。运行前可以先看下它遗留的那一长串运行结果,我们命令执行完成后会得到与之相同的输出结果,如果哪一句运行失败继续点击重新运行直至成功。

运行下面这一句上传一张原始jpg图片,上传的图片会放在左边image目录下,上传前最好清空image目录下的图片防止后面一步读取到错误的图片。

有时候由于连接性问题会上传不上去,这时候可以试试手动上传然后将图片拖动到image目录下。

最后一步生成3D深度图片,这里也需要等待。。。

生成的可视化视频在video目录下,每次程序会生成四个不同角度的的视频,双击可下载到本地。

视频演示

B站上面部分图片打了码,下面是原视频。
[vplayer url="https://pan.2bboy.com/img/video/3dpic_p2.mp4" /]

后记

[post cid="170" /]

 继续浏览关于 PythonPyTorch 的文章

 本文最后更新于 2020/08/07 21:36:00,可能因经年累月而与现状有所差异

 引用转载请注明:醉后的星星 > 分享 > 利用分层深度修补技术将2D图片3D化

发表评论

精选评论

  1. 咸鱼
    咸鱼 回复

    Windows 10Chrome 81.0.4044.138

    想要第一个的原图|´・ω・)ノ

  2. yang
    yang 回复

    Windows 10Chrome 81.0.4044.138

    我很喜欢右下角的小人OωO

    1. sy
      sy 回复

      Windows 10Chrome 84.0.4147.89

      [secret]我也喜欢嘿嘿嘿
      [/secret]

  3. Zz
    Zz 回复

    Android 10Chrome 66.0.3359.126

    M为什么清空上传后下载的视频还是默认的

    1. 醉后的星星

      最后那步没生成成功或者你没刷新目录

      1. Zz
        Zz 回复

        Android 10Chrome 66.0.3359.126

        可以把默认的视频和图片都删掉然后放新图片生成吗?

        1. 醉后的星星

          视频无所谓,图片最好确保只有一张

          1. Zz
            Zz 回复

            Android 10Chrome 66.0.3359.126

            就是有些模糊,作品是清晰的

          2. Zz
            Zz 回复

            Android 10Chrome 66.0.3359.126

            已成功,非常感谢

  4. WZ000
    WZ000 回复

    Windows 7Chrome 78.0.3904.108

    为什么最后一步显示running on device 0?

    1. 醉后的星星

      菜单修改将笔记本设置改为GPU试试?可能项目最近更新了一些设置?只有多试试了

  5. aaa
    aaa 回复

    Windows 10Chrome 80.0.3987.162

    请问为什么content下的目录会经常消失?每次都要运行%cd /content/
    !git clone https://github.com/vt-vl-lab/3d-photo-inpainting.git
    %cd 3d-photo-inpainting
    !sh download.sh

    1. 醉后的星星

      连接问题,一段时间不活动平台就主动和你断开连接,重新显示内容就需要你重新连接,随便运行某句代码都行,不一定非得这句

  6. aaa
    aaa 回复

    Windows 10Chrome 80.0.3987.162

    我也想建站( ,,´・ω・)ノ"(´っω・`。)

  7. 阿修
    阿修 回复

    Windows 10Firefox 75.0

    点进链接连接失败啊

    1. 醉后的星星
      1. 阿修
        阿修 回复

        Windows 10Firefox 75.0

        请问有推荐的吗,我只有手机上有

        1. 醉后的星星

          http://one.newday.me/ 能访问谷歌就行,不少免费插件都行

          1. 醉后的星星
          2. 一位低调路过的小布尔乔亚
            一位低调路过的小布尔乔亚 回复

            Windows 10Firefox 77.0

            好的,我已成功混入。
            再请教一下,这个右下的紫毛是要以什么文件格式导入?

          3. 醉后的星星

            就是靠插件代理访问谷歌,百度浏览器插件安装,这个插件不会用,百度安装谷歌访问助手也行

          4. 一位低调路过的小布尔乔亚
            一位低调路过的小布尔乔亚 回复

            Windows 10Firefox 72.0

            在chrome里下不了脚本的编辑器,在火狐里下不了脚本本体。

          5. 一位低调路过的小布尔乔亚
            一位低调路过的小布尔乔亚 回复

            Windows 10Firefox 72.0

            能再说详细点吗?是依靠脚本来登录google框架吗?那安插脚本的浏览器有无要求?

  8. 神太郎
    神太郎 回复

    Windows 7Chrome 55.0.2883.87

    谢谢大佬 某些主体突出或者背景有空间感的图确实处理出来的效果非常不错啊

    1. 神太郎
      神太郎 回复

      Windows 7Chrome 55.0.2883.87

      似乎图片格式为png会出错 直接改后缀是同意无效的 使用格式转换工具(格式工厂)转一下格式就可以正常转3d了

  9. 没有看色图
    没有看色图 回复

    Windows 10Chrome 80.0.3987.87

    最后一步一直是python3: can't open file 'main.py': [Errno 2] No such file or directory 读取不到图片上面明明已经上传了啊
    setu.jpg(image/jpeg) - 89936 bytes, last modified: 2020/4/26 - 100% done
    Saving setu.jpg to setu (3).jpg
    User uploaded file "setu.jpg" with length 89936 bytes
    /

    1. 没有看色图
      没有看色图 回复

      Windows 10Chrome 80.0.3987.87

      找到文件夹自己手动上传,问题解决了

  10. shiningfinger
    shiningfinger 回复

    Windows 10Chrome 80.0.3987.149

    问个问题,最后生成的时候为什么都变成了moon,试了好几次就一次成功∠( ᐛ 」∠)_

    1. 醉后的星星

      我是这样做的,每次上传图片前把image目录下的文件清空,这样最后一步生成时就不会读取到错误的图片了

      1. shiningfinger
        shiningfinger 回复

        Windows 10Chrome 80.0.3987.149

        啊啊啊,可以了,之前都没想到,多谢大佬