Color Filter Array

 

概述


 ↵

色彩滤波阵列,英文名 Color Filter ArrayColor Filter Mosaic ,简称 CFACFM,是像素传感器上方的一层马赛克覆层,用于采集图像的色彩信息。一般的光电传感器只能感应光的强度,不能区分光的波长(色彩),因此图像传感器需要通过色彩滤波(Color Filter)以获取像素点的色彩信息。

Color Filter 根据波长对光线进行滤波,特定的 Color Filter 只允许特定波长的光通过。例如,最常见的 Bayer Filter,又称 RGGB Filter,图像传感器通过 Bayer Filter 获得像素点上红色(Red)、绿色(Green)和蓝色(Blue)光的强度信息,再据此通过色彩还原算法(Demosaicing Algorithm)推算像素点的色值。CFA的光谱滤波特性和色彩还原算法决定了CFA色彩采集能力。通常图像传感器的光子通带和CFA的光谱响应范围会大于可见光频谱范围,因此保证图像传感器能够捕获可见光范围内所有颜色信息。

如下图 1 示例图像传感器采集图像的过程。图像传感器通常包括上百万个微小的光腔或感光点来采集图像。在按下相机快门曝光开始的瞬间,系统会开启这些感光点以收集光子,将光子作为电信号存储起来。曝光结束后,系统闭合感光点,通过评估电信号的强度来判断光子多少,并根据比特深度(Bit Depth)将其量化为数字值。

然而,以上过程只能产生灰度图片,不能识别色彩。如图 1 所示 Bayer Filter 叠加在感光点上方,只允许特定波长的光进入感光点。理论上,一般图像传感器的每个感光点只能采集三原色(RGB)的一种颜色,从而丢弃另外 2/3 的光。因此,图像传感器需要通过还原算法,判断每个像素点上另外两种颜色光的强度,最后推算出该像素点的色值。

light_cavities

图1. 感光点示意图

根据应用的特点,市场上可能存在不同的 CFA 配置(Pattern)。在常见的车载前视(Front Camera)应用中,CFA采用 Red-Monochrome(RCCC )配置。这种配置中,CFA滤波器结构中包括 3 个空白(Clear -C)和 1 个红光滤波器。相比于 Bayer Filter 在处理过程中会丢弃 2/3 的光源,RCCC CFA 信号灵敏度更高,同时通过红色光的强度也足以判断汽车前灯(白色)和尾灯(红色)等情况。

 

Bayer Filter


 ↵

发明于 1976 年的 Bayer Filter 是目前市场上用途最广的CFA,Bayer Filter CFA 配置中包括 1 个红光、1 个蓝光和 2 个绿光滤波器(25% Red, 25% Blue, 50% Green)。由于人眼天生对于绿色比较敏感,Bayer Filter 设计绿色光通透性要好于其它两种颜色。这种处理方式相比于等同处理RGB三种颜色,它所还原出来的图像,在人眼看来,噪点更低,细节更加清晰。

如图 2 所示 Bayer Filter 的结构中,两个绿色光滤波器处在对角线位置,它们和红色、蓝色滤波器形成 2x2 的矩阵。

bayer_filter_structure

图2. Bayer Filter CFA构造

3 表示光源经过 Bayer Filter 后的发生的情况,只有特定颜色的光可以穿过相应颜色的滤波器。(图 1 与图 3 表述原理相近!)

bayer_principle

图3. Bayer Filter工作原理

Bayer Filter 处理色彩信息时,会将 2x2 滤波矩阵当做最基本的全色值单元,通过统计单元内 RGB 光强度的比例,计算得出该像素点的色值,如图 4 所示。

bayer_basic_element

图4. Bayer Filter基本色彩单元

如果 CFA 的基本色彩单元按照图 4 示意的顺序排列,则每四个像素只有一个色值,即纵向和横向分辨率只有实际像素的一半。Bayer Filter 实际上是采用的基本色彩单元是如图 5 所示叠加式分布。在图像中心位置,这种叠加式分布的色彩单元分辨率与像素分辨率一致,精度高;但在图像边缘位置,由于滤波器缺失,精度略差。

bayer_element_array

图5. Bayer Filter基本色彩单元分布

 ↵

Others


 ↵

主要介绍 Bayer Filter 以外 CFA 配置,并简要说明其特点和目标应用。

  • Clarity + 技术

Clarity+ONSEMI(原 Aptina )图像传感器的一种技术,指将原 Bayer Filter 滤波器中绿光滤波器改为透传(Clear)的结构。这样做的好处主要体现在采集光源的强度更高和专用的频带响应技术可以有效提高图像的质量(信噪比和可靠性等)。技术说明见 Link 。

clarity_cfa

图6. Clarity + CFA配置

1 列出 ONSEMI 几种 Clarity+ CFA 与 Bayer Filter 特性的比较,采用 Clarity+ 技术可有效提高图像的信噪比,但在色彩识别上表现差。

clarity_vs_bayer
表1. Clarity+ CFA特性比较

7 示意 Clarity+ CFA的工作原理。

clarity_principle

图7. Clarity+ CFA工作原理

8 和图 9 分别示例用 Bayer FilterClarity+ CFA拍摄照片的对比(户外照片来源:Vision System,室内照片来源:ONSEMI)。从照片中可以看到,Clarity+ CFA在弱光环境下的表现要优于 Bayer Filter

 

clarity_bayer_outside

图8. Bayer & Clarity + CFA 户外 拍摄对比

clarity_bayer_inside
图9. Bayer & Clarity + CFA 室内 拍摄对比

总之,适合人眼的,并不一定适合于机器。在用于自动驾驶图像识别等领域,根据应用的特点,系统设计者应灵活选择不同配置的 CFA。

  • RCCC

RCCC CFA的 75% 部分为透传,其余 25% 为感受红光的滤波器。图 10 示意 RCCC 的色彩滤波器的排列。RCCC 的优点是光灵敏度高,适用于弱光环境。由于 RCCC 只有红色光滤波器,因此主要用在对于红色标识敏感的场合,比如交通灯检测。

rccc
图10. RCCC配置

  • RCCB

RCCB CFA的 50% 部分为透传,其余红光蓝光滤波器各占 25%。图 11 示意RCCB的色彩滤波器的排列。RCCB 的弱光敏感性比 RCCC 稍差(Clear 部分少嘛),但它分辨色彩的能力更好,采集的图像既可以用于机器分析,也可以用于人眼观察。

rccb

图11. RCCB配置

  • Mono

Monochrome100% 透传,它不能分辨色彩。Mono 配置的弱光灵敏度最高,仅用于对颜色无识别要求的场合,如驾驶员状态检测等。

monochrome

图12. Monochrome配置

参考资料


 ↵

1. Color Filter Array -Wikipedia

2. Bayer Filter -Wikipedia

3. Slides on Qualcomm Summit  -ON

4. Understanding Digital Camera Sensors -Cambridge in Colour

5. Image Sensors Build on the Brilliance of Bayer -Wikipedia

6. Aptina Explains Clarity+ Technology, Reveals 1.1um Pixel Product -Blogspot

x. ISS Image Pipe for Alternate CFA Formats -TI

 

About Xiaomin

“Real generosity towards the future lies in giving all to the present.” ― Albert Camus
Bookmark the permalink.

Leave a Reply

Your email address will not be published. Required fields are marked *