首页 科技正文

Google Pixel 相机手艺解密,HDR+、人像、高剖析变焦、夜视形式怎样设想?

usdt跑分网 科技 2019-05-26 281 0

 

Google 本日在台举行 Pixel 手机相机手艺解密申明会,约请 Google 卓越工程师,深度申明 Pixel 手机究竟应用了哪些手艺,让单镜头手机就能够到达精彩的 HDR+、具有景深的人像形式、高剖析变焦和夜视形式。


    

近年来,手机上的相机功用朝向多镜头生长,刚开始厂商到场景深镜头来量测景深资讯,进而让手机能够拍出出配景隐约的景深照片,接着陆陆续续有厂商到场长焦镜头,让运用者能够一键切换拍摄高倍变焦的照片,同时也能够应用长焦镜和广角镜的视差演算出景深资讯拍出景深照片。不但多镜头设置装备摆设,包罗为手机到场更高的像素、更大的光圈或是放入深度感测器等,都是手机厂商在相机手艺提高所做的勤奋。


 

除硬体上的进化以外,越来越多手机强调「软体」功用,用手机行销的言语来讲,就是在手机上到场了 AI 场景辨识功用,应用演算法让手机能够叠图演算出更悦目的照片,或是用机械进修手艺庖代传统的演算法,来提拔拍摄时的准确度。


 

对 Google 来讲,Pixel 手机上的相机功用,就是大批应用软体和机械进修上风所生长出来的效果。


 

此次主讲人:Marc Levoy,Google 卓越工程师、史丹佛大学电脑科学声誉退休传授。


 

HDR+ 解密:应用多张低暴光照片分解

Pixel 手机上的 HDR+ 是许多人爱用的功用,在高反差的情况下(比方逆光)HDR+ 比起一样平常 HDR 照片能够有更好的亮暗部均衡,画面细节和画质看起来也更精彩。


 

一样平常 HDR 的典范做法是拍摄分歧暴光时候的照片,把暴光时候短(通常是看起来对照暗的照片)的影象的亮部细节和暴光时候长(通常是看起来对照亮的照片)的影象的暗部细节连系,显现出终究影象,如许的做法虽然可行,不外当相机晃悠(比方手持的情况下)或物件挪动时,每一个影象的暴光程度分歧、杂讯也分歧,因而 Google 不接纳如许的体式格局来做出 HDR 效果,取而代之的,就是 HDR+。


 

一样平常 HDR 接纳暴光定标实验(Exposure Bracketing),拍摄分歧暴光程度的影象来分解终究照片。


 

Google Pixel 手机用的 HDR+ 做法是,在雷同的暴光下连拍多张影象,且这些影象会制止亮部过分暴光(也就是会拍摄对照暗的照片),接着再分解这些低亮度的照片酿成终究影象。


 

HDR+ 是一连拍摄多张雷同暴光值的影象来分解。


 

在处置惩罚多张叠图时,由因而在雷同暴光程度下连拍的影象,因而影象相似度较高,更轻易校准,手时机盘算旌旗灯号杂讯比(Signal-to-noise ratio)和连拍帧数,并削减阴暗处的杂讯,接着再接纳颜色映照(Tonemap)加强画面上的暗影,下降亮部,过程当中可能会牺牲掉团体的颜色和对照度,不外局部的对照显示会对照好,终究就显现出 Google 手机拍摄出来的 HDR+ 样貌。


 

终究显现出来的效果暗部能够有用提亮。


 

左为无 HDR+,右为开启 HDR+。


 

肖像形式解密:机械进修辨识人物、双像素预估深度图

肖像形式(或称人像形式、景深形式)是现在大多数智慧型手机都具有的拍摄功用,大局部的人像形式是接纳分解浅景深的体式格局来到达配景隐约的效果,做法是应用双镜头相机在邻近的核心像拍摄两个影下,接着再应用立体匹配演算法来盘算出影象的深度图,有了影象深度资讯以后,挑选个中一个平面连结清晰锋利,其他地方处置惩罚成隐约的模样,显现出配景隐约的景深照片。


 

不外 Pixel 手机只设置装备摆设了单镜头,该怎样到达景深效果呢?


 

在 Google Pixel 2 上的做法是如许的,先应用 Google 机械进修手艺辨识出画面中的人物以后,再应用卷积神经网路,准确支解人物的边沿;配景的局部则是应用主镜头的双像素特性来区分配景深度,接着再依据人物和配景的间隔依照比例隐约化,显现出相似专业相机拍出来的景深效果。


 

左图为原始照片,先应用机械进修手艺像中心图片一样辨识出人物以后,再应用卷积神经网路运用数学盘算中的边沿感知双边求解器(Edge-aware Bilateral Solver)让人物边沿更仔细话,支解更锋利。


 

应用双像素感光元件上像素些微的位差来算出画面中的景深资讯,就会获得相似如许的深度图。

Android 版的 Premiere 影片剪辑 app 上台

Adobe 去年十月推出了为 iOS 版设计的 Premiere Rush 影片剪辑 app,今日宣布 Android 版本正式上线,使用者只要下载 Premiere Rush 就可以快速在手机上完成影片剪辑,还能直接上传剪辑成果,和社群网站上的朋友或观众分享。 Premiere Rush 集合了 Adobe Premiere Pro 和 Audition 的特色,让使用者可以在 Android 手机上直觉式的编辑影片,进行简易色彩调校、人工智慧杂音消除、使用客制化的动态图像范本等等,而且支援桌机和行动装置间的档案同步更新,保持各装置档案的一致性。 Premiere Rush 分成两种版本,免费方案可以使用 Premiere Rush 各种功能,不过只能汇出最多三项专案,付费方案则分为个人、团体、企业三种方案,售价分别为每月 9.99 美金、19.99 美金、29.99 美金,付费后就可使用 Adobe Creative Cloud 中的各种 app 以及 Premiere Pro 的 app 择一选用。


 

末了分解第一次支解出来的人物、盘算出来的深度图,依照比例来隐约配景。


 

虽然说 Google 能够模仿出相似单眼相机的景深效果,不外实际上照样和单眼相机的景深显现不太一样,缘由在于,专业相机是应用光学成像天然的显现核心以外的风景,风景会跟着核心间隔的是非而显现分歧的隐约程度,不外 Pixel 手机为了让常人都能拍出景深照片,因而迥殊扩大核心间隔,让运用者更轻易简朴的胜利拍出景深照片。


 

左为单眼相机的景深程度转变,右为 Pixel 手机景深程度转变。


 

来到 Google Pixel 3 以后,Google 进一步应用特别的相机拍摄上万张照片,透过机械进修中的 Ground Truth 来练习双像素更好发生深度图,因而 Pixel 3 上的肖像形式显示比上一代又更提高些。 


 

高剖析变焦:单镜头也能拍出长焦照片

不但能够应用单镜头就拍出景深照片,Pixel 3 也到场高剖析变焦功用,透过多张影象叠合,让单镜头缩放后拍出来的照片清晰度和搭载 2x 光学变焦镜头的智慧型手机一样清晰。


 

做法是如许的,切换到高剖析变焦形式后,手时机一连拍摄多张照片,透过细小的手震和一连拍摄让手机能够获得更多颜色资讯,进而重建出更多颜色讯息。


 

当相机同时拍摄了四帧画面(四横排),第二帧程度挪动 1 像素,能够看到绿色像素已被补满,红蓝像素也收集到先前的两倍资讯,第三帧垂直挪动 1 像素,红蓝像素收集到更多颜色资讯,第四帧则是程度跟垂直都位移 1 个像素,组合一切画面以后,能够发明相较于第一帧照片,底本缺的颜色资讯被补满,就能够够获得更清晰的拍摄效果。


 

那若是手机固定在脚架上,不会发生手震时此功用该怎样运作呢?很简朴,只需开启 OIS 制作镜头「摇摆」效果就能够够模仿手震来补齐颜色资讯,因为 OIS 摇摆幅度很小,因而也不会滋扰一般照片。 


 

左为一样平常形式拍摄,右为开启高剖析变焦功用。


 

夜视形式:一连拍摄多张照片分解

Google Pixel 最壮大的拍摄功用非夜视形式莫属,险些能够将夜晚拍成日间一样平常通亮,究竟是怎样做到的呢?


 

简朴来讲,按一下快门以后,手机涌现倒数环,在倒数时候内高速连拍多张照片(最多 15 张),接着再透过演算法调解成像清晰度、白均衡,让影象显现出终究清晰的模样。


 

要怎样决议夜视形式要拍摄几秒能力获得清晰的照片呢?手机的推断体式格局是如许的,当手机手震程度越高,或是拍摄物体在挪动的话,手机就会收缩拍摄时候,不外这情况下画质会对照不清晰,不外在拍摄静止物体时,暴光时候就会拉长,照片清晰度也会随之提拔。若运用 Pixel 3 拍摄的话,会连系高剖析变焦功用来到达更清晰的夜景照,若是是运用 Pixel 1、Pixel 2、Pixel 3a 照相的话,则是会连系 HDR+ 功用来拍出清晰的夜景照。


 

在夜晚拍摄碰到最大的难题就是,要怎样复原物体实在的颜色,Google 的做法是「参考古典画的特性」。


 

Google 发明古典画作经常应用黑色围绕场景,并会将暗影投射成黑色,加上高对照度的特性,显现出在暗处却很通亮的觉得。


 


 

透过一样的观点,Google 会以演算法举行颜色映照(Tonemap),让夜景照片复原出


版权声明

本文仅代表作者观点,
不代表本站Usdt跑分网的立场。
本文系作者授权发表,未经许可,不得转载。

评论

标签列表

站点信息

  • 文章总数:2021
  • 页面总数:0
  • 分类总数:16
  • 标签总数:201
  • 评论总数:674
  • 浏览总数:492592