6park.com从脸到脖子的贴心美白,懂你省心的祛痘P图,但又恰如其分地留下你标志性的泪痣,让分享到朋友圈的你不至于有美颜痕迹的尴尬。 6park.com
当然,5G时代、短视频时代,人像技术、美颜能力,自然也得与时俱进。 6park.com
哪怕你的手和过山车一样抖,拍出的视频 (图左),也可以和用了几千块的稳定器一样清晰。 6park.com
6park.com
【 4 】 6park.com而这,就是AI可以带来的最新最前沿人像技术能力。 6park.com
并且祖传人像玩家,还把一切all in到了手机里,把手机AI人像实现搞出新高度。 6park.com
没错,说的就是OPPO。 6park.com
怎样的AI人像新能力?
6park.com融合了人脸检测、面部关键点检测、超分辨率算法、语义分割、自动补帧等一系列前沿AI技术。 6park.com
全称:OPPO FDF全维人像视频技术系统。 6park.com
这也是业内首个针对 人像视频拍摄打造的AI影像技术系统。 6park.com
6park.com
【 5 】 6park.com这个由 感知人像引擎和 画质增强引擎组成的系统,不仅能让照片里的人看起来更好看,画面质感也能得到质的提升。 6park.com
具体如何做到的,我们一一详细解构。 6park.com
所谓 感知人像引擎,就是针对拍摄时的人像区域进行优化,其核心技术包括AI人脸检测/关键点检测、AI超清人像 (暗景/长焦拍摄也高清)、OFL肤质优化、人脸畸变矫正四大项。 6park.com
这四项技术,都需要很强很稳,不能有偏科。 6park.com
6park.com
【 6 】 6park.com而在 人脸关键点检测上,OPPO以 296个点的数量,实现了移动平台上 每秒检测200次(200fps)的速度,在WFLW数据集上实现了低至 4.71%的NME损耗。 6park.com
至于 画质增强引擎,则是一套能保障用户在绝对多数场景下都能拍出满意的画面的算法合集。 6park.com
哪怕画面抖动幅度较大、还是光线不足或过亮,画质增强引擎都能将画面调整到更符合用户偏好的观感。 (你的VLOG必备小能手) 6park.com
除了在开头看到的,加入新一代超级防抖功能以外,画质增强引擎还包括视频多帧HDR和超级夜景视频两项技术。 6park.com
利用视频多帧HDR拍出来的小姐姐,随便截一帧都是唯美的艺术照: 6park.com
6park.com
【 7 】 6park.com就连拍摄的夜景视频,也能得到不输白天的清晰度,甚至比白天有更丰富的色彩度: 6park.com
6park.com
【 8 】 6park.com这些看似不经意的人像拍摄、视频处理效果,却是决定作品细节的关键。 6park.com
如何评价OPPO最新AI人像技术?
6park.com需要更加深入到核心技术之源。 6park.com
这次OPPO,不仅将人像系统做到了极致,还用软件弥补了硬件上“广角摄像头”带来的不足。 6park.com
目前AI人像领域,核心技术水平,可以以处理暗光/长焦拍摄所用的 超分辨率计算作为参考。 6park.com
简单来说,超分辨率 (Super-Resolution)计算,是将一组低质量、低分辨率的图像,通过软硬件,得到一幅高分辨率图像。 6park.com
这是当前计算机视觉技术中难度最大的领域之一,需要尽可能地平衡图像的画质与真实性。 6park.com
6park.com
【 9 】 6park.com其核心思想,在于用时间带宽 (获取同一场景的多帧图像序列),来换取空间分辨率,实现时间分辨率向空间分辨率的转换。 6park.com
而就在这个领域,OPPO此次展现的技术能力,并非“啪的一下很突然”…… 6park.com
CVPR 2020上,OPPO就提出了独创的神经网络架构 RFB-ESRGAN,利用分布式算法提高计算效率、并以多元的采样与计算模型配合,将模糊的图片 清晰放大了16倍。 6park.com
6park.com
【 10 】 6park.com当时OPPO还从全球280多个顶尖参赛团队中脱颖而出,夺得了“极端超级分辨率感知”的第一名。 6park.com
有备而来。 6park.com
效果也人人可见,经过AI处理的人像,眉毛和皮肤都变得更加清晰。 6park.com
6park.com
【 11 】 6park.com但相比软件突破解决软件问题,OPPO的这个AI系统,还需要关注的技术亮点在于——用软件技术 弥补硬件的先天不足。 6park.com
例如,在用广角摄像头给人拍照的过程中,总有些尴尬之处: 6park.com
如果不抢C位,你的人脸就可能会变形。 6park.com
6park.com
【 12 】 6park.com而且,由于透视投影 (Perspective Projection)的 近大远小原理,变形的往往只有人脸,背景看起来反而比较正常。 6park.com
6park.com
【 13 】 6park.com以往针对这种变形脸,通常需要一些职业P图大师来处理。 6park.com
业内也一直在追求——既不会扭曲背景,又能让人物恢复正常的技术。 6park.com
而这次OPPO的解决思路,运用了 球极平面投影(Stereographic Projection)。 6park.com
其原理是,把一个球面投射到平面上,并不忠实反映距离,却十分忠实地反映角度。 6park.com
6park.com
【 14 】 6park.com不过,单这么一项还无法一蹴而就。 6park.com
这种投影对人脸的拉伸并不大,然而背景看起来却会变得扭曲。 6park.com
(投影近处变化小,远处变化更大) 6park.com
所以OPPO再用上了另一项工序,用AI将两者结合。 6park.com
最终经过两次拍摄处理,加上一个AI切割算法,就能将“球平面投影”的部分边缘变形人脸、和“透视投影”的背景结合起来,实现人脸的还原。 6park.com
6park.com
【 15 】 6park.comAnyway,如果你对技术原理本身不是很感冒,其实也没关系。 6park.com
甚至无需清楚知道OPPO这个AI系统中“感知人像引擎”和“画质增强引擎”的高深之处。 6park.com
简单直接,所用所得,可以理解 OPPO FDF全维人像视频技术系统,就是OPPO放在手机里的 你的专属化妆师和视频后期。 6park.com
是的, 专属,体现在结果细节。 6park.com
比如开头提到的AI智能消除瑕疵,业内美颜产品和功能中,都算是标配。 6park.com
然而,将痘痘、皱纹这样的特征,和泪痣这样的先天特征进行区分训练,“分阶采样”的智能模型,却是少之又少。 6park.com
它体现了技术和产品团队对用户人性的洞察。如今的社交网络发图发视频,确实都会发之前P一下,但所有人追求的,还是让P图痕迹、无迹可寻。 6park.com
没有谁想在晒照晒视频后,被发现美颜P视频的硬伤。 6park.com
另外,还有OFL肤质优化所需的 语义分割技术,同样体现这种想用户所想。 6park.com
为了将皮肤、头发和衣物区分开来,OPPO的模型通过结构特征提取,将人像分割成脸部、脖子、手部、头发、衣物等几部分。 6park.com
然而,与常见的美颜语义分割不同,OPPO将脸部、脖子、手部统一归类为皮肤,一起进行优化,为的就是避免肤色不均匀的问题。 6park.com
6park.com
【 16 】 6park.com…… 6park.com
所以如此种种,也能知晓为啥OPPO在人像领域一直引领、功力深厚的真正原因。 6park.com
一方面是最复杂最前沿的技术,另一方面还要有大众真实审美观的洞察,最后交付到用户手中无感使用。 6park.com
OPPO的另一面
6park.comOPPO的技术性,通常易于被忽略。 6park.com
但事实是,包括手机摄影摄像在内的“华山论剑”领域,OPPO产品和功能之所以爆款常有,都源自技术底蕴和支撑。 6park.com
在世界知识产权组织(WIPO)的专利报告中,OPPO都是全球榜上靠前的企业。 6park.com
最新可查的2019年数据,OPPO在全球范围内的排名位居韩国三星和美国高通之后,位居全球第六、中国区第二。 6park.com
6park.com
【 17 】 6park.com而具体到人像领域,OPPO的技术专利,也能最好诠释这家公司为何在该领域持续创新和领先。 6park.com
OPPO官方披露,2012年开始就在人像领域在全球范围内开展专利布局,包括中国、美国、德国、法国、英国、印度以及日韩等25个国家地区。OPPO在人像美颜、虚化、防抖、夜景等影像技术的专利申请总数超过700件,其中发明专利占比80%。 6park.com
然而技术底色的光芒,此前一定程度上被大众消费电子产品的成功而盖过。 6park.com
这其实也与刚才提及的OPPO的产品理念,密不可分。 6park.com
讲本分、讲人性、讲用户体验,追求的是: 6park.com
6park.com
【 18 】 6park.com在今年OPPO未来科技大会现场,创始人陈明永还分享了OPPO手机的初代往事。 6park.com
还是功能机时代,2008年,OPPO第一款手机在历时一年半研发后,原型机获得供应链和客户高赞,但最终OPPO团队却决定不发布它,而是花费半年在此基础上重新设计,达到预期想要的最完美效果。 6park.com
最终, 笑脸手机问世,一炮而红,用一款功能机的最慢推出纪录,创造了半年破百万台销量的业界佳话。 6park.com
6park.com
【 19 】 6park.com同样的理念一以贯之,就有了后来的「充电5分钟通话2小时」的快充领先方案,有了自拍、人像摄影领域的江湖地位。 6park.com
正是这样的产品理念,从需求、体验,带动了产品的成功。而产品的成功,又让OPPO可以在更大体量规模的用户数、用户反馈反馈上迭代技术和打磨产品。 6park.com
实现了数据智能背景下,技术-产品-用户之间的正向循环和动势能转换。用户只需得到最好的产品体验和解决方案,而无需关注背后技术的复杂度和实现难度。 6park.com
这也正是OPPO创始人陈明永强调的 本分、 致善式创新。 6park.com
6park.com
【 20 】 6park.com他说本分的力量是从自省出发,应该做什么?做了没有? 6park.com
而且思考问题的本质,做正确的事。 6park.com
在商业特别是消费电子领域,友商、竞争和各种“欺瞒奸狠”常被关注。 6park.com
但相信本分和致善式创新,就是相信可以通过解决别人的问题、用户的痛点,实现多赢。 6park.com
具体到OPPO,就是希望以科技作为手段,实现每一个用户对美、想象力和人性的追求。 6park.com
陈明永认为,科技创新如果没有自我约束机制,没有更高的理念做支撑,很可能成为一种负担。 6park.com
通盘思考中国哲学“致良知”和西方人性哲学之后,陈明永提出“科技为人,以善天下”,意以给公司经营和科技创新提供一条校验准绳,以纠偏各种追求短期效益的创新。 6park.com
同时,他提醒科技创新过程中要注意规避因恐惧落后对手而不关心人的需求的盲目式创新。 6park.com
所以从技术、产品,上升到企业经营,OPPO之道,实现了一以贯之。 6park.com
One more thing
6park.com最后,这次OPPO大秀技术和产品实力的大会上,还有其他最前沿技术的一揽子展出。 6park.com
除了FDF全维人像视频技术系统,还有 三大前沿应用。 6park.com
一是 手机,OPPO X 2021卷轴屏概念机: 6park.com
6park.com
【 21 】 6park.com二是代表下一代交互终端的 AR眼镜,OPPO AR Glass 2021: 6park.com
6park.com
【 22 】 6park.com另外现场展区,还有包括3D虚拟人像技术、AI眼球控制,UWB空间感知技术等等一系列前沿技术。 6park.com
不过,在这一系列的前沿技术和创新产品里,最令人期待的还是FDF系统。 6park.com
因为马上就能让每个人所见所得。 6park.com
OPPO官宣:2020年12月,也就是下个月,搭载FDF全维人像视频技术系统的新品就会发布。 6park.com
想直接体验最前沿的AI人像能力和应用,不妨拭目以待~ 6park.com
—
完—
6park.com本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
6park.com量子位 QbitAI · 头条号签约作者
6park.comվ'ᴗ' ի 追踪AI技术和产品新动态
6park.com一键三连「分享」、「点赞」和「在看」
6park.com科技前沿进展日日相见~