[返回科技频道首页]·[所有跟贴]·[ 回复本贴 ]·[热门原创]·[繁體閱讀]·[版主管理]
把「我的世界」马赛克变成逼真大片,英伟达又出黑科技
送交者: 婉君[★★★来全球焦点玩★★★] 于 2021-04-17 2:40 已读 1683 次  

婉君的个人频道

原标题:把「我的世界」马赛克变成逼真大片,英伟达又出黑科技


子豪 发自 凹非寺 6park.com

量子位 报道 | 公众号 QbitAI 6park.com

先来看一张海岛大片: 6park.com


这可不是哪个摄影师的杰作,而是出自GANcraft之手。 6park.com

原图是「我的世界」中一个马赛克画质的场景: 6park.com


这下「我的世界」真的变成了,我的世界! 6park.com

GANcraft由英伟达和康奈尔大学合作完成,它是一个无监督3D神经渲染框架,可以将大型3D块状世界生成为逼真图像。 6park.com


空前的真实感 6park.com

究竟有多逼真?和与其他模型对比来看。 6park.com

以下是在两个场景中,分别使用MUNIT、GauGAN用到的SPADE、wc-vid2vid,以及NSVF-W(NSVF+NeRF-W)生成的效果。 6park.com


再感受下GANcraft的效果: (画质和色彩有所压缩) 6park.com


通过对比可以看到: 6park.com

诸如 MUNIT和SPADE这类im2im(图像到图像转换)方法,无法保持视角的一致性,这是因为模型不了解3D几何形状,而且每个帧是独立生成的。 6park.com

wc-vid2vid产生了视图一致的视频,但是由于块状几何图形和训练测试域的误差累积,图像质量随着时间迅速下降。 6park.com

NSVF-W也可以产生与视图一致的输出,但是看起来色彩暗淡,且缺少细节。 6park.com

GANcraft生成的图像,既保持了视图一致性,同时具有高质量。 6park.com

这是怎么做到的? 6park.com

原理概述 6park.com

GANcraft中 神经渲染的使用保证了 视图的一致性,而 创新的模型架构和训练方案实现了空前的 真实感6park.com

具体而言,研究人员结合了3D体积渲染器和2D图像空间渲染器,使用 Hybird体素条件神经渲染方法。 6park.com


首先,定义一个以体素(即体积元素)为边界的神经辐射场,并且为块的每个角,分配一个可学习的特征向量; 6park.com

再使用三线性插值法,在体素内的任意位置定义位置代码,把世界表示为一个连续的体积函数;并且每个块都被分配了一个语义标签,如泥土、草地或水。 6park.com

然后,使用MLP隐式定义辐射场,将位置代码、语义标签和共享的样式代码作为输入,并生成点特征(类似于辐射)及其体积密度。 6park.com

最后给定相机参数,通过渲染辐射场获得2D特征图,再利用CNN转换为图像。 6park.com

虽然能够建立体素条件神经渲染模型,但是没有图像能用作ground truth,为此,研究人员采用了 对抗训练方式。 6park.com

但是「我的世界」不同于真实世界,其街区通常具有完全不同的标签分布,比如:场景完全被雪或水覆盖,或是多个生物群落出现在一个区域。 6park.com

在随机采样时,使用互联网照片进行对抗训练,会生成脱离实际的结果: 6park.com


因此研究人员生成 Pseudo-ground truth,用来进行训练。 6park.com

使用预训练的SPADE模型,通过2D语义分割蒙版,获得具有相同语义的Pseudo-ground truth图像。 6park.com


这不仅减少了标签和图像分配的不匹配,而且还能用更强的损失,来进行更快、更稳定的训练。生成效果得到了显著改善: 6park.com


此外,GANcraft还允许用户控制场景语义和输出风格: 6park.com


其介绍页中提到:它将每个Minecraft玩家变成了3D艺术家! 6park.com

并且,简化了复杂风景场景的3D建模过程,无需多年的专业知识。 6park.com

GANcraft即将开源,感兴趣的读者可戳链接了解详情~ 6park.com

6park.com

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。 6park.com

加入AI社群,拓展你的AI行业人脉 6park.com

量子位「AI社群」招募中!欢迎AI从业者、关注AI行业的小伙伴们扫码加入,与 50000+名好友共同关注人工智能 行业发展&技术进展6park.com

量子位 QbitAI · 头条号签约作者 6park.com

վ'ᴗ' ի 追踪AI技术和产品新动态 6park.com

一键三连「分享」、「点赞」和「在看」 6park.com

科技前沿进展日日相见~

喜欢婉君朋友的这个贴子的话, 请点这里投票,“赞”助支持!
[举报反馈]·[ 婉君的个人频道 ]·[-->>参与评论回复]·[用户前期主贴]·[手机扫描浏览分享]·[返回科技频道首页]
贴子内容是网友自行贴上分享,如果您认为其中内容违规或者侵犯了您的权益,请与我们联系,我们核实后会第一时间删除。

所有跟贴:        ( 主贴楼主有权删除不文明回复,拉黑不受欢迎的用户 )


    用户名:密码:[--注册ID--]

    标 题:

    粗体 斜体 下划线 居中 插入图片插入图片 插入Flash插入Flash动画


         图片上传  Youtube代码器  预览辅助

    打开微信,扫一扫[Scan QR Code]
    进入内容页点击屏幕右上分享按钮

    楼主本栏目热贴推荐:

    >>>>查看更多楼主社区动态...






    [ 留园条例 ] [ 广告服务 ] [ 联系我们 ] [ 个人帐户 ] [ 版主申请 ] [ Contact us ]