8533651111
130-99629-900
导航

Pixel超高摄影像素的背后!

发布日期:2020-08-12 12:23


  文章来源:news.sina.com.cn 时间:2020-08-12
 
    文章导读:迄今为止我们测试过的最佳智能手机相机——DxOMark
 
    2016年的智能手机市场,每一家都在摩拳擦掌,准备大展身手,但任谁都想不到是,那一年手机拍摄领域最亮眼的既不是iPhone也不是三星,而是Google自研的Pixel。
 
    之后Pixel2推出时,同样的情况再次上演,只用单摄的Pixel2超越了同期大量双摄旗舰,登顶DxOMark,还带来了人像模式。此后的Pixel系列也一直维持同样的策略,它的相机物理硬件并非最强,但在手机摄影领域却有着不俗的表现,Pixel3带来了夜景模式、Pixel4带来了天文摄影。


 
    MarcLevoy作为Pixel相机团队的首席工程师,正是幕后推动这一切的主要推手,用现在流行的话来说,MarcLevoy用计算摄影,改变了潮水的方向。
 
    01与Google相遇
 
    Levoy原本就是一位摄影爱好者,在他的个人网站上还能看到不少他拍摄的照片。而他和Google的相遇则要从斯坦福大学说起。1990年,Levoy进入斯坦福大学计算机科学系,主要教授计算机图形学、数码摄影、艺术科学等课程。
 
    MarcLevoy
 
    1993年,Levoy借了一些磁盘驱动器给博士生DavidFilo和JerryYang,他们用磁盘等工具建立了一个互联网目录网站,这个网站之后被称为Yahoo。同为博士研究生的拉里・佩奇(LarryPage)和谢尔盖・布林(SergeyBrin)则在离Levoy办公室两扇门远的地方研究互联网索引,后来他们创立了一个搜索网站——Google。
 
    Google创始人拉里・佩奇和谢尔盖・布林
 
    拉里・佩奇和Levoy的研究生共用一个办公室,而谢尔盖・布林则是Levoy的计算机图形课上的学生。在斯坦福,Levoy几乎是目睹了互联网的崛起,而由于他和Google创始人的师生关系,渐渐与Google有了越来越多的联系。
 
    拉里・佩奇和谢尔盖・布林离开斯坦福创立Google后,很快投资了一个由Levoy主导的研究项目CityBlock,通过拍摄视频并将其复制到图片中,再通过计算处理等方式复原实际场景,也就是后来被Google商业化的Google街景项目。
 
    Levoy在计算摄影领域上的深厚造诣令Google团队十分钦佩,以至于GoogleX实验室遇到问题时第一时间想到了这位斯坦福教师。当时GoogleX正在研究一个名为GoogleGlass的产品,旨在推出一款可穿戴的「计算机」,而这台计算机将以眼镜的形式出现。
 
    据GoogleX实验室发布的博客,由于GoogleX选择了眼镜这种可穿戴式的产品形态,对硬件的要求极高,就算是手机中常见的微缩型相机硬件模组,应用到GoogleGlass上还要保持较好的拍摄效果,也并非一件简单的事。
 
    早期的GoogleGlass原型
 
    既然通过硬件实现很难、或者说几乎不可能,是不是应该换一种思路,用软件来解决呢。就这样,GoogleX找到了计算摄影领域的专家Levoy帮忙一起解决这个问题。
 
    最终Levoy和GoogleX团队研究出了一种名为HDR成像的算法,即快速拍摄多张图片,并通过计算处理合成出高质量的图片。多张合成的方式可以更好的渲染暗部细节,同时又能保证高光处保持更高的清晰度。
 
    与GoogleX合作期间,Levoy自己还制作了一个App——SynthCam,同样是通过合成计算的方式,让使用微缩相机模块的手机也能模拟单反,实现拍摄主体之外内容逐渐模糊的效果。
 
    Levoy用自制软件SynthCam拍摄的图片
 
    尽管以现在的眼光来看,效果并不算特别好,但在当时已经是手机摄影领域的一次新突破了。
 
    对于计算摄影极强的兴趣,也促进了Levoy从斯坦福退休后加入Google。
 
    02Pixel系列,计算摄影的新起点
 
    2014年,MarcLevoy从斯坦福退休,进入Google成为全职员工,并担任了Google内部最具影响力的部门之一GoogleResearch的领导人,主要负责研究计算摄影领域相关的事项。
 
    在和GoogleX实验室合作时,Levoy就意识到了HDR算法能应用在智能手机上,毕竟GoogleGlass和智能手机都是移动终端,便携性是优势。
 
    就这样,Levoy带领团队在Nexus系列上尝试应用HDR算法,不过效果一直不算太突出,Nexus系列最后一款机型Nexus6P,就算使用上Levoy团队研发出的升级款HDR+算法,DxOMark分数也只有仅仅73分,和当时的主流旗舰还有一段距离。
 
    直到GoogleCEO达尔・皮蔡(SundarPichai)在2016年提出由「移动为先」转为「AI为先」的口号,Pixel系列正是在这样环境下诞生的。
 
    整个公司的策略转向,也让专精于软件计算领域的Levoy获得更多的灵活度与资源,他成为了Google首款自研智能手机——Pixel系列的相机团队负责人,而相机正是Pixel系列的核心。
 
    得益于Pixel用上了新的处理器骁龙821,处理能力有不少提升,Levoy能让HDR+算法更舒畅自由的发挥,至少采集图片和合成计算的速度提升了不少,不会出现Nexus系列上开启HDR算法一会后手机就会过热,按下快门键后需要等待一会才能完成拍摄的情况。
 
    2016年10月4日,Google正式发布了Pixel,它的相机模组和Nexus6P相比并没有太大变化,都是1230万像素和1.55μm的单像素尺寸,只多了一个相位对焦功能。
 
    但Pixel却让整个业界为之震惊,它超越了同期旗舰iPhone7Plus和三星S7登顶了DxOMark榜单。硬件几乎没有太大变化,但拍照能力却获得了质变,可见Levoy带领团队开发的HDR+算法是有多强。
 
    2017年,Levoy又尝试将自己在2011年左右开发的AppSynthCam的技术拓展应用在Pixel2上,同样是通过采集多张照片进行计算合成。不过,为了不出现之前Nexus系列上硬件拖后腿的现象,Pixel团队特别为Pixel2加入了一颗名为「PixelVisualCore」的定制图像处理单元,以加速图像采集速度和计算速度。
 
    有了硬件支持,Levoy也更好发挥了,这次他在Pixel2上加入了AI(神经网络),用来判断物体的相对位置,进而推出「人像模式」,实现人物主体清晰,人像后的背景却逐渐模糊的效果。
 
    不出意外,Pixel2再次超越同期旗舰三星GalaxyNote8和iPhone8Plus,登顶DxOMark榜首。
 
    两次都是使用单摄,两次都是硬件普通甚至算落后(同期旗舰都用上了双摄),但Pixel却两次登顶,超越所有的对手,这让Levoy成为业界炙手可热的人物,甚至被称为是重新发明了「计算摄影」。
 
    03计算摄影,改变了潮水的方向
 
    Pixel系列的成功并没有让Levoy沉溺于其中,相反他又将目光转向了摄影领域的另一座高峰——夜间摄影,在Pixel推出的同一年,Levoy在做极端低光条件下的拍摄实验。
 
    要知道夜间摄影的光照条件可比不上白天,而且智能手机作为移动便携设备,相机模组并不大,导致进光亮极少,不开闪光灯的话,想拍清楚是极难的一件事。
 
    Levoy对计算摄影的强大信念让他成功坚持了下来,正如他在极端极光拍摄实验视频中所说的:
 
    我认为,当我们从硬件主导的摄影转向软件定义的计算摄影的新领域时,这个领域才刚刚开始令人兴奋。
 
    结果,现在我们都已经知道了,Levoy登上了夜间摄影这座山的山巅。2018年10月,Google推出了Pixel3,这款新机最大的亮点正是Levoy带领团队开发的NightSight夜景模式,即使是在晚上手机也能拍出精细度、亮度极高的照片。
 
    NightSight效果样张.图片来自Google
 
    和以往一样,Levoy的解决办法还是老一套,采集图片加合成计算,只不过和我们直觉相反的是,NightSight夜景模式并非采集不同曝光度图片或是采集明亮而模糊的照片进行合成计算,而是选择捕捉大量昏暗而锐利的图片,进行合成计算,最终输出一张清晰的照片。
 
    而在Pixel4上,Levoy在摄影领域的突破是天文摄影。
 
    图片来自:Google
 
    Pixel系列,做到了以往硬件主导的摄影所做不到的事,无论是HDR+、人像模式,还是NightSight夜景模式、天文摄影,无不是对以往的突破。由软件定义的计算摄影,几乎启发了整个智能手机行业。
 
    苹果、三星、华为等手机厂商在计算摄影上的投入越来越多,夜间模式几乎成为了高端旗舰手机的标配,AI拍照加持从高端旗舰普及到中低端产品中,成为一个基础宣传点。
 
    MarcLevoy,改变了潮水的方向。
 
    04现在,Levoy要为每台手机装上一个「Pixel相机」
 
    计算摄影给整个智能手机行业带来的好处是显而易见的,对于相机硬件模组较为落后的机型来说,它们也能利用算法显著提升拍摄质量。
 
    它为拍照所带来的优势甚至引发了一次Pixel相机程序移植潮,我们在之前的报道中就提到过,开发团队B-S-G曾修改了Pixel的相机应用程序,让它能兼容其他Android手机,并把修改版程序发布到了XDA论坛中,有不少用户下载尝试了。
 
    在我们的实际测试中,利用修改版的Pixel相机程序拍出来的照片,暗部的亮点有较好的提升、过曝现象也有一定减少,但偶尔还是会出现偏色的情况,毕竟是修改版程序,有bug也能理解。
 
    左:正常、右图:HDR+
 
    不过,现在这个问题可能要解决了,作为Pixel系列相机软件的主导者,Levoy在Google工作了近6年后选择了离职,而他的新工作正是Adobe公司的副总裁。
 
    根据外媒Gizmodo的报道,Levoy在Adobe的主要工作除了继续研究计算摄影外,还有研发一个能在不同平台、不同设备上使用的通用相机程序,此前Adobe在移动端推出的lightroom软件就自带相机应用程序。
 
    lightroom自带拍照功能
 
    基于Levoy在计算摄影的积累与多项成就,再加上Adobe在图片领域的长久积累,这款不限平台、不限设备的「Pixel相机应用程序」还是很令人期待的。
 
    而且现在中端手机的相机硬件素质相较几年前已经获得了较大的提升,2099元起售的荣耀30S用上了6400万像素主摄像头,此外还有长焦、微距、超广角3颗后置镜头,1599元的Redmi10X也用上了4800万主摄。
 
    对于消费者来说,已经完成升级的硬件,再加这款通用型的「Pixel相机应用程序」,拍出好照片只会越来越容易。
 
    只是,当计算摄影通过智能手机完成真正的普及之后,你还会相信眼见为实吗?
 
喜欢的话就关注:www.6382018.com 即或获取更多有关内容及资讯!谢谢大家!