解读主流品牌手机相机背后的图像处理器 (1)

进入八月底，手机市场变得异常热闹，大有你方唱罢我登场的阵势——魅族MX3刚发布，小米3、索尼Xperia Z1、Galaxy Note III、iPhone 5S/C、OPPO N1陆续热闹登场……几乎无一例外， 相机 功能成为了这些业界瞩目的明星产品主要功能诉求之一。在智能手机日趋同质化的今天，相机也成为了厂商在产品宣传上重点进行差异化的焦点之一，防抖动、高速连拍、美颜……各种功能特性扯足眼球。

正所谓外行看热闹，内行看门道，各种宣传说辞背后，是软硬件技术实力的比拼。手机相机受尺寸限制，难免先天不足——镜头必须尽量小以适应手机相机的封装，这导致图像传感器获取的图像信号难以像数码相机一样的出色，因此作为数码相机功能的关键功能模块的 图像处理器 （ ISP ）担当起了提升图像传感器捕获的图像质量的“重任”。在这些“明星”产品中，魅族MX3手机相机公开采用了富士通4通道ISP芯片。无独有偶，在当前国内外多个主流品牌的热门机型中，包括魅族MX2、三星Galaxy Note II和Galaxy ZOOM，以及OPPO的几款主流手机产品中，我们也能发现富士通ISP技术的身影。为此，笔者近日特别采访了富士通半导体公司图像处理技术负责人Holmes 沈，期待挖掘出手机相机ISP的“那些事”。

解析主流数码相机ISP Milbeaut的技术基因

富士通数码相机ISP产品家族基于其2000年开始推出的图像处理器Milbeaut技术，目前已经发展到第六代。作为数码相机产品的核心器件，Milbeaut算是实实在在的“幕后英雄”， 其名号并不为大多数人所知，甚至网上也难以搜到太多相关介绍。但Holmes抛出的个数据就让人不得不对Milbeaut刮目相看：“Milbeaut占据全球数码相机ISP市场超过50%的份额，全球知名数码相机厂商几乎都与我们有合作，在单反数码相机中同样有大量的成功应用。”

近年来，高像素相机逐渐成为中高端手机的主流配置，而独立ISP具有的突出图形处理能力，开始替代500万像素时代的集成ISP，这类独立ISP开始走向手机应用的舞台。当前智能手机厂商大都倾向于采用专用的ISP，因为这样能实现可以与高端数码相机媲美的图像质量和性能。而富士通半导体公司基于其占据数码相机市场优势的图像处理器Milbeaut开发了针对手机相机应用的Milbeaut Mobile ISP系列，成功地将其在数码相机ISP芯片上的技术成功复制到手机相机应用上。据悉，在日本厂商生产的配备800万像素以上摄像头的终端中，富士通的图像处理LSI确保了近80％的份额。

“在2008年，第三代Milbeaut Mobile ISP就率先采用了多种在数码相机中成功应用的功能，如静态图像拍照的连续自动对焦、人脸识别。”Holmes指出，“第六代Milbeaut Mobile ISP MBG046就采用了几乎所有的相机功能，而且还具有高清视频（1920x1080像素）连续自动对焦，以及市场需求视频处理器。”在采访中，Holmes对Milbeaut的功能特性如数家珍：“MBG046基本的功能特性包括实时转换和校正来自传感器的信号，并输出到应用处理器。ISP针对手机相机系统进行了优化，能使应用处理器直接显示接收到的图像数据，并无需修改直接存储这些数据……”按照Holmes的详细介绍，Milbeaut Mobile ISP MBG046主要功能特性可以总结如下：

高速图像处理。MBG046图像处理器执行基本的图像处理功能，可以实现每秒24帧、每帧8MB的图像处理，以及每秒超过30帧的高清图像处理。几乎所有的基本图像处理功能由硬件实现，从而可以实现很高的处理速度和低功耗。此外，由于应用处理器是手机相机在图像处理的流程中的下一级，如果来自传感器的数据不能及时转换以及进行校准处理，对于拍摄视频这种对响应速度很敏感的应用来说，就会存在延时的问题。Milbeaut Mobile ISP通过将由图像处理器单元处理过的图像数据直接发送到图像输出单元，而不是通常方案中经由SDRAM进行各种插值处理，从而实现了快速处理，消除了信号转换、校正处理导致的延时。

超强的噪声消除功能。由于Milbeaut Mobile ISP产品面对的相机应用一般不可能采用可与数码相机媲美的相机镜头，要保证图像质量具有挑战性，特别是处理图像噪声非常重要。因此，MBG046图像处理器采用了比数码相机更强大的机制来保证对亮度噪声和色彩噪声的消除。为消除噪声同时不降低分辨率，在MBG046中采用了的技术，从而可以同时采用不同的噪声消除方法以匹配图像质量。

优化的软件配置。软件处理是相机系统中的一个重要部分，是硬件序列控制和“3A”（自动白平衡调整、自动曝光调整、自动对焦调整）运算不可或缺的部分。设计上，富士通将那些涉及复杂处理，但是运算量轻的任务转移到软件实现，而将运算量很大的图像数据处理由专用硬件实现。这样的配置能让更多的CPU资源用于额外的软件图像处理（运动补偿、人脸识别等），从而可以让系统更灵活，也能将更多资源用于实现先进的处理性能。