双摄像头这么火，手机厂商究竟看上什么了？（上）

雷锋网按：本文原载于知乎专栏 半导体那些事。

这两年手机的亮点越来越少，高端智能机现在基本都不再去比拼雷兔兔，而开始PK拍照性能。于是乎，这两年各家纷纷开始做起了双Camera。

| 双Camera都能做什么？

那问题来了，双Camera到底能做什么？

1.双Camera可以测距，所以可以做距离相关的应用

如上图，由于双Camera通过算法，可以判断被摄物体的距离，所以通过此特性，很容易做出一些特效，如：

A： 背景虚化

单反相机最出众的特色之一就是大光圈。由于双Camera可以测出不同被拍摄物体的距离，对需要进行大光圈的物体对准，其他不同距离的物体虚化，可以轻松实现大光圈的效果。

原图

（以美女为中心对焦，虚化背景和受伤的蘑菇）

（以蘑菇为中心对焦，虚化背景和美女）

B: 背景替换

由于可以测量距离，可以将被拍摄物体里的主体提取出来，更换背景，就可以比PS还简单，进行抠图。

C: 背景特效

既然可以抠图，只是对背景做一下处理，还是很容易的。比如，此图就用了素描特效。

D: 测量距离

这个图就非常明显的标识出不同物体的距离，这个距离信息用不同颜色标识出来。当AP获得了不同物体的距离信息，就可以做到上述的各种功能。

2. 双Camera 可以做光学变焦

若两个Camera的FOV不一样，一个大FOV，一个小FOV，再通过算法实现两个光学镜头之间的效果，就可以轻松做到光学变焦。

若不用双Camera，放大图片后，文字不清楚.

若使用双Camera，放大图片后，文字依然清楚.

此图就是融合了广角的图和长焦的图，通过算法算出了中间态度照片，让细节不失真。

3. 暗光效果增强

这个一般使用彩色+黑白的摄像头。通过黑白摄像头 获取图片的光亮强度，来对图片暗光补偿。

4. 3D拍摄以及3D建模

不同于一般的3D电影的拍摄。手机上的两个摄像头无法在图像的拍摄过程中就产生足够的视觉差，这是由于两个摄像头中间的距离和人眼不一样。而且为了能够让人们更明显的得到3D视觉效果。所以往往需要算法进行增强。

由于可以测出距离，后续的双Camera不仅仅可以实现3D摄影，还可以进行3D建模，到这个时候，我想双Camera的重要性则会更加重要。

其他的效果增强，比如HDR，提高分辨率，这些功能其实单Camera也可以实现，只是双Camera可以让效果更好，就不一一列举了。

小结：

目前来看，这几个功能是双Camera手机最常见的功能。背景虚化/更换，暗光效果给用户带来了更多的拍照效果。光学变焦则让我们感受了变焦功能的相机功能。但个人觉得未来最让人激动的则是3D功能。今年VR这么火，VR的素材哪里来？还是得靠双Camera算法的优化。若3D拍照和建模的算法成熟后，将会让双Camera 变得更加流行。

| 双摄像头的原理

如前面介绍，双摄像头的应用主要分为：距离相关的应用，光学变焦，暗光补偿以及3D拍摄和建模。每种应用的原理都有些不同，我们就分别介绍一下相关的原理：

1.距离相关应用

人眼是很容易对一个物体的距离进行定位，但当人闭上其中一个眼睛后，定位能力就会下降很多。双摄像头就是模拟人眼的应用。简单的说，测距离的话，就是通过算法算出，被拍摄物体与左/右摄像头的角度θ1和θ2，再加上固定的y值（即两个摄像头的中心距），就非常容易算出z值（即物体到Camera的距离）

不过这也很容易推算，若两个摄像头中心距过小的话，可计算的物体距离就会很近。若想算出很远距离，就必须让左右摄像头的距离拉远。

2.光学变焦

光学变焦主要是左右摄像头使用不同的FOV（可视角），这样两个摄像头取景不同。当用户需要广角照片，则用视角为85度的左摄像头取景，获得广角效果。当用户需要长焦照片，则用视角为45度的右摄像头取景，获得长焦效果。

为了使左右摄像头拍摄的物体重叠度高，光学变焦的双摄像头模组不能像做距离应用的摄像头的模组那样距离过大，而是需要将左右摄像头摆得越近越好。

3.暗光增强

一般来讲，做暗光增强就是将两个摄像头一个用RGBG的标准摄像头，一个用去掉RGBG 滤波片的黑白摄像头。RGBG用来获得物体的色彩，而黑白摄像头用来获得更好的进光量，来判断被拍物体的光强强度。然后将两个图片融合即可获得更好的暗光增强。

只是一般来说，有两种融合方法：

1.以黑白图片为主体，将彩色图片上获取的每个像素的颜色贴至黑白图片上，将两种图片融合。

2.以彩色图片为主体，将黑白图片上获取的每个图像的光亮强度补偿到彩色照片上，将两种图片融合。

至于哪种方式更合适做融合，可能仁者见仁智者见智，就不在这展开讨论了。

同样，做暗光增强，为了让左右摄像头拍摄的物体重叠图高，此类双摄像头模组也是要求越近越好。

需要说明的事，华为P9 其实选用的就是这个方式的模组。

当然有些业内人士也表示这种算法目前做的效果并不明显。暗光补偿对用户来的确很帮助，尤其拍夜景的时候。不过有些客户认为索尼和三星的Dual PD技术就非常好，更愿意用Dual PD 摄像头来做暗光补偿。

到底是双摄像头还是Dual PD的暗光补偿效果好，大家可以比较一下华为P9和三星的Galaxy S7 edge，就会有答案了。     

4.3D拍摄和3D建模

3D拍摄和3D建模的算法其实跟距离应用有点类似，只是它的精度要求更高，甚至有时会需要用红外测距进行更准确的距离判断。在这里就不详细展开介绍了。

5.对ISP的要求

提到双摄像头的算法，不得不提到ISP（Image Signal Processing 图像信号处理器），ISP主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了手机的成像质量。

功能机时代，ISP都是做在摄像头上的，不同像素的摄像头搭配不同性能的ISP。随着手机摄像头像素越来越高，对ISP性能的要求越来越高，若将ISP集成到摄像头Sensor上，势必造成摄像头的模组过大，甚至影响拍照效果。所以智能机时代，ISP一般都是在主芯片SoC上。部分品牌客户为了实现更好的效果，甚至不惜成本的外加一颗ISP用来达到更好更专业的拍照效果。

好的拍照算法就需要搭配好的ISP，ISP和算法相辅相成，缺一不可。而双摄像头对ISP性能要求更多。首先，为了使的左右摄像头的信号能够同时被处理，单一的ISP已经无法满足双摄像头的需求。这就需要双路ISP实现此功能。

以暗光增强为例，彩色/黑白图像分别进入各自的ISP通道和校准通道，然后将两副图片做匹配（如将两幅图片相同的部分提取出来，去除只有一个摄像头拍到的部分），然后通过遮挡，检测，补偿等算法 处理相关的图片。最后将两幅图片融合起来，实现颜色的增强。当然实际上ISP配合算法做的事情，远远比这图片上写的要多。笔者实在不知道，就不在这误导大家了。

当然，在这里面也有一个小小的插曲。毕竟是两个ISP，两个ISP多少有一些处理速度，处理能力不同的问题。为了保证两个ISP能在同一时间上取样，就需要双摄像头拍出来的图片是同一时间拍出来的。其中一个解决办法就是让Sensor有一个同步信号引脚。将两个摄像头的同步信号对接，在每次读取图片时，将图片都打上一个时间戳，ISP通过时间戳，保证左右摄像头拍出来的照片在同一时间拍摄，最终再进行融合。

6.摄像头的接口

一般来讲，目前的智能手机的摄像头接口都是MIPI接口。之前手机平台都只有2路MIPI接口，分别给前摄像头和后摄像头。做双摄像头，就要求平台至少支持三路MIPI接口。其实在之前的高端平台上，为了实现更高像素，已经用双路ISP了（比如为了支持16M的摄像头，会用2路8M能力的ISP），这类平台很有可能只有两路MIPI。但这个无法阻止工程师去做前单摄像头+后双摄像头。   

没错，加一个小小的Swtich，就可以轻松实现双摄像头。

相关阅读

双摄像头深度剖析（下）

雷锋网注：本文由作者张竞扬授权发布雷锋网。张竞扬，摩尔精英创始人&CEO。转载请联系授权并保留出处和作者，不得删减内容。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。