[返回数码家电首页]·[所有跟帖]·[ 回复本帖 ] ·[热门原创] ·[繁體閱讀]·[版主管理]
祖传人像玩家,如何把AI秀出新高度
送交者: yejushi[★★★★强图奋发★★★★] 于 2020-11-25 0:08 已读 842 次 1 赞  

yejushi的个人频道

萧箫 发自 凹非寺 6park.com

量子位 报道 | 公众号 QbitAI 6park.com

从今往后,合照不必担心站在边缘会变形了: 6park.com

6park.com


【 1 】
6park.com

如今这种硬件所限的bug,正在被一举解决,且了无痕迹: 6park.com

6park.com


【 2 】
6park.com

除了拯救变形的人脸,还可以有人性化的素颜级美颜。 6park.com

比如真实的你 VS 素颜级美颜的你: 6park.com

6park.com


【 3 】
6park.com

6park.com

从脸到脖子的贴心美白,懂你省心的祛痘P图,但又恰如其分地留下你标志性的泪痣,让分享到朋友圈的你不至于有美颜痕迹的尴尬。 6park.com

当然,5G时代、短视频时代,人像技术、美颜能力,自然也得与时俱进。 6park.com

哪怕你的手和过山车一样抖,拍出的视频 (图左),也可以和用了几千块的稳定器一样清晰。 6park.com

6park.com


【 4 】
6park.com

而这,就是AI可以带来的最新最前沿人像技术能力。 6park.com

并且祖传人像玩家,还把一切all in到了手机里,把手机AI人像实现搞出新高度。 6park.com

没错,说的就是OPPO。 6park.com

怎样的AI人像新能力? 6park.com

融合了人脸检测、面部关键点检测、超分辨率算法、语义分割、自动补帧等一系列前沿AI技术。 6park.com

全称:OPPO FDF全维人像视频技术系统。 6park.com

这也是业内首个针对 人像视频拍摄打造的AI影像技术系统。 6park.com

6park.com


【 5 】
6park.com

这个由 感知人像引擎画质增强引擎组成的系统,不仅能让照片里的人看起来更好看,画面质感也能得到质的提升。 6park.com

具体如何做到的,我们一一详细解构。 6park.com

所谓 感知人像引擎,就是针对拍摄时的人像区域进行优化,其核心技术包括AI人脸检测/关键点检测、AI超清人像 (暗景/长焦拍摄也高清)、OFL肤质优化、人脸畸变矫正四大项。 6park.com

这四项技术,都需要很强很稳,不能有偏科。 6park.com

6park.com


【 6 】
6park.com

而在 人脸关键点检测上,OPPO以 296个点的数量,实现了移动平台上 每秒检测200次(200fps)的速度,在WFLW数据集上实现了低至 4.71%的NME损耗。 6park.com

至于 画质增强引擎,则是一套能保障用户在绝对多数场景下都能拍出满意的画面的算法合集。 6park.com

哪怕画面抖动幅度较大、还是光线不足或过亮,画质增强引擎都能将画面调整到更符合用户偏好的观感。 (你的VLOG必备小能手) 6park.com

除了在开头看到的,加入新一代超级防抖功能以外,画质增强引擎还包括视频多帧HDR和超级夜景视频两项技术。 6park.com

利用视频多帧HDR拍出来的小姐姐,随便截一帧都是唯美的艺术照: 6park.com

6park.com


【 7 】
6park.com

就连拍摄的夜景视频,也能得到不输白天的清晰度,甚至比白天有更丰富的色彩度: 6park.com

6park.com


【 8 】
6park.com

这些看似不经意的人像拍摄、视频处理效果,却是决定作品细节的关键。 6park.com

如何评价OPPO最新AI人像技术? 6park.com

需要更加深入到核心技术之源。 6park.com

这次OPPO,不仅将人像系统做到了极致,还用软件弥补了硬件上“广角摄像头”带来的不足。 6park.com

目前AI人像领域,核心技术水平,可以以处理暗光/长焦拍摄所用的 超分辨率计算作为参考。 6park.com

简单来说,超分辨率 (Super-Resolution)计算,是将一组低质量、低分辨率的图像,通过软硬件,得到一幅高分辨率图像。 6park.com

这是当前计算机视觉技术中难度最大的领域之一,需要尽可能地平衡图像的画质与真实性。 6park.com

6park.com


【 9 】
6park.com

其核心思想,在于用时间带宽 (获取同一场景的多帧图像序列),来换取空间分辨率,实现时间分辨率向空间分辨率的转换。 6park.com

而就在这个领域,OPPO此次展现的技术能力,并非“啪的一下很突然”…… 6park.com

CVPR 2020上,OPPO就提出了独创的神经网络架构 RFB-ESRGAN,利用分布式算法提高计算效率、并以多元的采样与计算模型配合,将模糊的图片 清晰放大了16倍6park.com

6park.com


【 10 】
6park.com

当时OPPO还从全球280多个顶尖参赛团队中脱颖而出,夺得了“极端超级分辨率感知”的第一名。 6park.com

有备而来。 6park.com

效果也人人可见,经过AI处理的人像,眉毛和皮肤都变得更加清晰。 6park.com

6park.com


【 11 】
6park.com

但相比软件突破解决软件问题,OPPO的这个AI系统,还需要关注的技术亮点在于——用软件技术 弥补硬件的先天不足。 6park.com

例如,在用广角摄像头给人拍照的过程中,总有些尴尬之处: 6park.com

如果不抢C位,你的人脸就可能会变形。 6park.com

6park.com


【 12 】
6park.com

而且,由于透视投影 (Perspective Projection)的 近大远小原理,变形的往往只有人脸,背景看起来反而比较正常。 6park.com

6park.com


【 13 】
6park.com

以往针对这种变形脸,通常需要一些职业P图大师来处理。 6park.com

业内也一直在追求——既不会扭曲背景,又能让人物恢复正常的技术。 6park.com

而这次OPPO的解决思路,运用了 球极平面投影(Stereographic Projection)。 6park.com

其原理是,把一个球面投射到平面上,并不忠实反映距离,却十分忠实地反映角度。 6park.com

6park.com


【 14 】
6park.com

不过,单这么一项还无法一蹴而就。 6park.com

这种投影对人脸的拉伸并不大,然而背景看起来却会变得扭曲。 6park.com

(投影近处变化小,远处变化更大) 6park.com

所以OPPO再用上了另一项工序,用AI将两者结合。 6park.com

最终经过两次拍摄处理,加上一个AI切割算法,就能将“球平面投影”的部分边缘变形人脸、和“透视投影”的背景结合起来,实现人脸的还原。 6park.com

6park.com


【 15 】
6park.com

Anyway,如果你对技术原理本身不是很感冒,其实也没关系。 6park.com

甚至无需清楚知道OPPO这个AI系统中“感知人像引擎”和“画质增强引擎”的高深之处。 6park.com

简单直接,所用所得,可以理解 OPPO FDF全维人像视频技术系统,就是OPPO放在手机里的 你的专属化妆师和视频后期6park.com

是的, 专属,体现在结果细节。 6park.com

比如开头提到的AI智能消除瑕疵,业内美颜产品和功能中,都算是标配。 6park.com

然而,将痘痘、皱纹这样的特征,和泪痣这样的先天特征进行区分训练,“分阶采样”的智能模型,却是少之又少。 6park.com

它体现了技术和产品团队对用户人性的洞察。如今的社交网络发图发视频,确实都会发之前P一下,但所有人追求的,还是让P图痕迹、无迹可寻。 6park.com

没有谁想在晒照晒视频后,被发现美颜P视频的硬伤。 6park.com

另外,还有OFL肤质优化所需的 语义分割技术,同样体现这种想用户所想。 6park.com

为了将皮肤、头发和衣物区分开来,OPPO的模型通过结构特征提取,将人像分割成脸部、脖子、手部、头发、衣物等几部分。 6park.com

然而,与常见的美颜语义分割不同,OPPO将脸部、脖子、手部统一归类为皮肤,一起进行优化,为的就是避免肤色不均匀的问题。 6park.com

6park.com


【 16 】
6park.com

…… 6park.com

所以如此种种,也能知晓为啥OPPO在人像领域一直引领、功力深厚的真正原因。 6park.com

一方面是最复杂最前沿的技术,另一方面还要有大众真实审美观的洞察,最后交付到用户手中无感使用。 6park.com

OPPO的另一面 6park.com

OPPO的技术性,通常易于被忽略。 6park.com

但事实是,包括手机摄影摄像在内的“华山论剑”领域,OPPO产品和功能之所以爆款常有,都源自技术底蕴和支撑。 6park.com

在世界知识产权组织(WIPO)的专利报告中,OPPO都是全球榜上靠前的企业。 6park.com

最新可查的2019年数据,OPPO在全球范围内的排名位居韩国三星和美国高通之后,位居全球第六、中国区第二。 6park.com

6park.com


【 17 】
6park.com

而具体到人像领域,OPPO的技术专利,也能最好诠释这家公司为何在该领域持续创新和领先。 6park.com

OPPO官方披露,2012年开始就在人像领域在全球范围内开展专利布局,包括中国、美国、德国、法国、英国、印度以及日韩等25个国家地区。OPPO在人像美颜、虚化、防抖、夜景等影像技术的专利申请总数超过700件,其中发明专利占比80%。 6park.com

然而技术底色的光芒,此前一定程度上被大众消费电子产品的成功而盖过。 6park.com

这其实也与刚才提及的OPPO的产品理念,密不可分。 6park.com

讲本分、讲人性、讲用户体验,追求的是: 6park.com

6park.com


【 18 】
6park.com

在今年OPPO未来科技大会现场,创始人陈明永还分享了OPPO手机的初代往事。 6park.com

还是功能机时代,2008年,OPPO第一款手机在历时一年半研发后,原型机获得供应链和客户高赞,但最终OPPO团队却决定不发布它,而是花费半年在此基础上重新设计,达到预期想要的最完美效果。 6park.com

最终, 笑脸手机问世,一炮而红,用一款功能机的最慢推出纪录,创造了半年破百万台销量的业界佳话。 6park.com

6park.com


【 19 】
6park.com

同样的理念一以贯之,就有了后来的「充电5分钟通话2小时」的快充领先方案,有了自拍、人像摄影领域的江湖地位。 6park.com

正是这样的产品理念,从需求、体验,带动了产品的成功。而产品的成功,又让OPPO可以在更大体量规模的用户数、用户反馈反馈上迭代技术和打磨产品。 6park.com

实现了数据智能背景下,技术-产品-用户之间的正向循环和动势能转换。用户只需得到最好的产品体验和解决方案,而无需关注背后技术的复杂度和实现难度。 6park.com

这也正是OPPO创始人陈明永强调的 本分致善式创新6park.com

6park.com


【 20 】
6park.com

他说本分的力量是从自省出发,应该做什么?做了没有? 6park.com

而且思考问题的本质,做正确的事。 6park.com

在商业特别是消费电子领域,友商、竞争和各种“欺瞒奸狠”常被关注。 6park.com

但相信本分和致善式创新,就是相信可以通过解决别人的问题、用户的痛点,实现多赢。 6park.com

具体到OPPO,就是希望以科技作为手段,实现每一个用户对美、想象力和人性的追求。 6park.com

陈明永认为,科技创新如果没有自我约束机制,没有更高的理念做支撑,很可能成为一种负担。 6park.com

通盘思考中国哲学“致良知”和西方人性哲学之后,陈明永提出“科技为人,以善天下”,意以给公司经营和科技创新提供一条校验准绳,以纠偏各种追求短期效益的创新。 6park.com

同时,他提醒科技创新过程中要注意规避因恐惧落后对手而不关心人的需求的盲目式创新。 6park.com

所以从技术、产品,上升到企业经营,OPPO之道,实现了一以贯之。 6park.com

One more thing 6park.com

最后,这次OPPO大秀技术和产品实力的大会上,还有其他最前沿技术的一揽子展出。 6park.com

除了FDF全维人像视频技术系统,还有 三大前沿应用。 6park.com

一是 手机,OPPO X 2021卷轴屏概念机: 6park.com

6park.com


【 21 】
6park.com

二是代表下一代交互终端的 AR眼镜,OPPO AR Glass 2021: 6park.com

6park.com


【 22 】
6park.com

另外现场展区,还有包括3D虚拟人像技术、AI眼球控制,UWB空间感知技术等等一系列前沿技术。 6park.com

不过,在这一系列的前沿技术和创新产品里,最令人期待的还是FDF系统。 6park.com

因为马上就能让每个人所见所得。 6park.com

OPPO官宣:2020年12月,也就是下个月,搭载FDF全维人像视频技术系统的新品就会发布。 6park.com

想直接体验最前沿的AI人像能力和应用,不妨拭目以待~ 6park.com

6park.com

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。 6park.com

量子位 QbitAI · 头条号签约作者 6park.com

վ'ᴗ' ի 追踪AI技术和产品新动态 6park.com

一键三连「分享」、「点赞」和「在看」 6park.com

科技前沿进展日日相见~
喜欢yejushi朋友的这个贴子的话, 请点这里投票,“赞”助支持!
[举报反馈]·[ yejushi的个人频道 ]·[-->>参与评论回复]·[用户前期主贴]·[手机扫描浏览分享]·[返回数码家电首页]
帖子内容是网友自行贴上分享,如果您认为其中内容违规或者侵犯了您的权益,请与我们联系,我们核实后会第一时间删除。

所有跟帖:        ( 主贴楼主有权删除不文明回复,拉黑不受欢迎的用户 )


用户名:密码:[--注册ID--]

标 题:

粗体 斜体 下划线 居中 插入图片插入图片 插入Flash插入Flash动画


     图片上传  Youtube代码器  预览辅助

手机扫描进入,浏览分享更畅快!

楼主本栏目热帖推荐:

>>>>查看更多楼主社区动态...






[ 留园条例 ] [ 广告服务 ] [ 联系我们 ] [ 个人帐户 ] [ 版主申请 ] [ Contact us ]