像素基于像素组的去马赛克算法

第14卷第4期 北京电子科技学院学报 2006年12月Vol. 14 No.4 Journal of Beijing Electronic Science and Technology Institute Dec. 2006

基于像素组的去马赛克算法

施勇红 霍俊彦 卢 峰 黄 维

西安电子科技大学 陕西西安710071 

摘 要本文提出一种利用图像像素组特性的彩色滤镜阵列去马赛克的新算法。实验表明该算法在图像

的去马赛克过程中 能有效抑制人工痕迹 能达到可变梯度插值算法和线性插值算法的性能 并能克服这

两种算法中的一些不足。

关键词去马赛克像素组

中图分类号 TN919 8 文献标识码 A 文章编号: 1672-464X(2006)04-0020-051引言

随着视频技术的飞速发展和数码摄照像机等电子产品的普及高质量图像或图像序列的采集与处理已经成为一个非常活跃的研究领域而 Demosaic(去马赛克)则是其中一项必不可少的关键性技术。

图像的采集功能由图像传感器CMOS或CCD完成。传统视频采集设备为R、G、B三基色采用不同的滤镜片得到所采集图像的RGB三色阵列。在经过数字化后即得到高质量的全彩色图像。在此过程中需要3倍于图像大小的传感器阵

图1-2 Bayer模式图像阵列

第14卷 施勇红 霍俊彦 卢 峰 黄维基于像素组的去马赛克算法 ·21 ·

如图1-2所示在图像阵列的每一像素点只能获得RGB三基色中的一种彩色分量强度值。该像素点上的其余两种彩色分量的强度值 必须利用其与周围像素点的强度相关性估计得到。通过对图像阵列中的每一个像素点进行相类似的操 作就可以获得采集图像的R,G,B三色阵列从而再现所采集图像。对CFA所获得图像阵列的这种处理则被称为去马赛克Demosaic 有时也被称为彩色插值(Color Interpolation 。图像插值可以分为线性插值和非线性插值。线性插值中有最近邻插

值双线性插值和双三次插值等方法。线性插值方

法的不足之处在于容易引起失真 即图像边缘阶梯型失真和边缘模糊。 产生失真的原因是线性方法对所有的像素采用相同 的插值函数没有考虑图像边缘。非线性插值算法对图像中边缘像素和非边缘像素进行不同的处理从而获得优于线性插值的效果。

2业界常用算法分析

为了进一步提高插值效果人们利用R,G,B三个彩色通道之间的相关性插值。这类算法基于临近像素点色调平滑变化的假设这一假设是目前流行插值方法中所普遍使用的。下面以双线性插值算法和可变梯度值Variable Number of Gradient sVNG算法为例介绍常规的插值算法。

2.1双线性插值分析

21 1双线性插值原理在待插值颜色所属的像素点周围将具有相同颜色的像素点平均值作为插

值输出。

212双线性插值实现过程第一步红蓝色像素点处的绿色分

量插值

以图1-2为例在B7与R13像素点处估计G分量为例插值输出为该像素点东、西、南、北四个方向绿色像素点的平均值

G7=(G2+G6+G12+G8)/4 (1- 1)

G13=(G8+G12+G18+G14)/4 (1-2)

第二步绿色点处的红色、蓝色分量的插值就绿色点处于奇数行和偶数行这两种情况考虑

当绿色点处于奇数行时 以图中的G14点插红色分量为例我们按照(1-3)对红色分量进行插值

R14=(R13+R15)/2 (1-3)

当绿色点处于偶数行时 以图中的G8点插红色分量为例我们按照(1-4)对红色分量进行插值

R8=(R3+R13)/2 (1-4)

在绿色点估计蓝色分量的步骤与上述完全相同。 第三步

蓝色/红色点处的红色/蓝色分量的插值我们以图中的B7点

插红色分量为例按照(1-5)进行插值

R7=(R1+R3+R1 1+R13)/4 (1-5)

我们分析了在蓝色点插红色分量的情况在红色点估计蓝色分量与此相同。 至此我们已经得到所有的颜色分量完成

了插值步骤。

21 3双线性插值优缺点分析该算法的优点在于算法简单 复杂度

低所需计算量小。

但是由于该算法对所有的像素点采取相同的操作而且没有利用不同彩色通道之间的相关性。对临域的像素点采用平均值相当于对图像进行了低通滤波所以使用该方法插值会降低图像分辨率这体现为图像中的边缘模糊。 除此之外该方 法还会在图像中的边缘处产生伪彩色color artifacts 。因此使用该方法插值会严重损害图像质量。

2.2可变梯度值VNG插值分析

221 VNG算法原理

VNG算法计算像素点八个方向的梯度值根据所得结果计算出一个适当的门限值。当某一方向的梯度值超过门限值就不采用该方向的颜色分量插值否则就利用该方向的颜色分量进行插值。

222 VNG算法实现过程

以图1-2为例VNG算法共分两步

1在红蓝色像素点插补绿色分量和蓝红色分量

2在绿色像素点估计红色分量和蓝色分量。

·22· 北京电子科技学院学报 2006年

第一步我们插补红蓝色像素点的绿色分量与蓝红色分量。

如图1-2所示 以在R13估计B13和G13为例我们需要计算八个方向的梯度

N=G8-G18 +R3-R13 +B7-B17 /2+B9-B19 /2+G2-G12 /2+G4-G14 /2

E=G14-G12 +R15-R13 +B9-B7 /2+B19-B17 /2+G10-G8 /2+G20-G18 /2

S=G8-G18 +R23-R13 +B7-B17 /2+B9-B19 /2+G24-G14 /2+G22-G12 /2

W=G14-G12+R11-R13 +B9-B7 /2+B19-B17 /2+G16-G18 /2+G6-G8 /2

NE=B9-B17 +R5-R13 +G8-G12 /2+G14-G18 /2+G4-G8 /2+G10-G14 /2

SE=B19-B7+R25-R13 +G14-G8 /2+G18-G12 /2+G20-G14 /2+G24-G18 /2

NE=B7-B19 +R1-R13 +G14-G8 /2+G18-G12 /2+G6-G12 /2+G2-G8 /2

NW=B17-B9 +R21-R13 +G8-G12 /2+G14-G18 /2+G22-G18 /2+G16-G12 /2

我们选出这八个梯度值的最小值MIN和最大值MAX 门限值T=k1×MIN+k2*(MAX-MIN)。其中 k1=15,k2=05。 现在我们假设只有SWNE SE满足小于门限值的条件只在这几个方向进行插值各分量如表2- 1所示。

Gsum=G18+G12+(G4+G8+G10+G14)/4+(G14+G18+G20+G24)/4 (2- 1)

Bsum=(B17+B19)/2+(B7+B17)2+B9+B19 (2-2)

Rsum=(R 13+R23)/2+(R11+R 13)/2+(R 13+R5)/2+(R 13+R25)/2 (2-3)现在我们可以得出待插像素点的绿色与蓝色分量

G 13=R13+(Gsum-Rsum)/4 (2-4)

B 13=R 13+(Bsum-Rsum)/4 (2-5)在蓝色像素点插补绿色分量和红色分量的方法与在红色像素点插补绿色分量和蓝色分量类似。 第二步在绿色像素点的红色分量和蓝色分量插值。

我们对G13点插值R13和B13首先计算八个方向的梯度值

N=G3-G13 +B8-G18 +G7-G17 /2+G9-G19 /2+R2-R12 /2+R4-R14 /2

E=R14-R12 +G15-G13 +G9-G7 /2+G19-G17 /2+B10-B8 /2+B20-B18 / 2

S=B18-B8+G23-G13+G19-G9 /2+G17-G7 /2+R24-R14 /2+R22-R12 /2

W=R12-R14 +G11-G13 +G17-G19 /2+G7-G9 /2+B16-B18 /2+B6-R8 /2

NE=G9-G17 +G5-G13 +R 4-R 12 +B10-B8

SE=G19-G7+G25-G13+B20-B8+R24-R12

NW= G7-G19 +G1-G13+B6-B18 +R2-R14

SW=G17-G9 +G21-G13 +R 22-R 14 +B16-B8

同样我们根据这八个梯度值得出门限值再根据门限值来决定插值方向。具体步骤和上述相同。

223 VNG插值算法的优缺点分析该算法的优点在于有效克服了边缘模糊能抑制部分伪色彩提高了插值效果。缺点表现为算法复杂计算量大 降低了插值效率。因其处理时延较大不适合进行连续图像的实时处理。

3基于像素组的算法

3.1像素组算法的基本思想

自然界中的图像色彩是由一系列的像素组Pixel Grouping构成并且在同一像素组中各个像素存在着必然的相互联系 即它们有相近的色彩与亮度。通过确定哪些像素属于同一像素组我们就能较好地估算出它们所要补插的缺失像素并 能提高输出图像的效果。

在本算法中既考虑了彩色图像各个颜色分量的归属又考虑了周围像素之间的关联性。因此与双线性插值算法相

第14卷 施勇红 霍俊彦 卢 峰 黄维基于像素组的去马赛克算法 ·23 ·

比本算法明显提高了插值效果与VNG插值算法相比本算法不但降低了运算量而且插值质量也有了较大改进。 实验表明本算法综合了它们的优点 克服了双线性算法中边缘模糊且伪色彩严重的不足也克服了 VN G 运算量较大的不足。在插值效果与运算量之间找到了一个合适的平衡点是一种实用的去马赛克算法。

3.2像素组算法实现过程

在图1-2的Bayer阵列中绿色分量占50%红、蓝色分量各占25%是基于人眼对不同光波敏感度的差异 即对绿色较红蓝色更为敏感。相应地我们在对不同色彩分量插值时做了区别对待。

在绿色分量插值中我们采用像素组的思路对每个像素点上、下、左、右四个方向的梯度进行计算判断出梯度值最小相关性最大的方向然后对这个方向进行插值在红像素与蓝像素的插值中我们构造了一个综合函数hue_transit(x1,x2,x3,v 1,v3)其作用是进行相关性判断(x1 ,x2,x3 之间是否存在线性关系)与平滑处理。

321在红色和蓝色点插绿色分量有两种情况。一种是在红色像素处插绿色像素值 一种是

在蓝色像素处插补绿色像素值。

下面仍以图1-2的Bayer模型为例 以在R13插绿色分量为例说明如何在红色像素处插绿色像素值。

△N=|R3-R 13|*2+|G 8-G 18|

△E=|R13-R15|*2+|G12-G14|

△W=|R11-R13|*2+|G12-G14|

△S=|R 13-R23|*2+|G 8-G 18|

找出上面四个方向梯度中的最小值 即在相关性最大方向上插补绿色分量值。 当

△N最小时,G 13=(G 8*3+R13+G 18-R3)/4

当△E最小时 G13=(G14*3+R13+G12-R15)/4

当△W最小时 G13=(G12*3+R13+G14-R11)/4

当△S最小时 G13=(G18*3+R13+G8-R23)/4

在蓝色像素处插补绿色像素值与在红色像素处插绿色像素值类似这里不再重复。至此原B ay er图像中的绿像素已补全。

322在绿色点插红色和蓝色分量在对绿色像素点插值之前我们构造一

个hue_trans it函数

此函数是根据自变量x1,x2,x3之间是否具有线性关系线性递增、线性递减或无线性关系 来确定一个构造函数。 对绿色像素点插值时我们以在G8点插R8和B 8分量为例 插蓝色分量时 B8=hue_transit(G7,G8,G9,B7,B9)的具体含义为

当横向G 7,G8,G 9具有线性关系时

B8=B7+(B9-B7)*(G8-G7)/(G9-G7)

否则

B8= B7+B9 /2+(2*G8-G 7-G9)/4

插红色分量时 R8=hue_trans it(G3,G8,G 13,R3,R13)的具体含义为当纵

向G3,G8,G13具有线性关系时

R8=R3+(R13-R3)*(G8-G3)/(G 13-G3)

否则其它绿色像素点插值依此类

R8= R3+R13 /2+(2*G8-G 3-G 13)/4

推。

323在红色像素点插蓝色分量、在蓝色像素点插红色分量

当在红色像素处插蓝色分量时我们以图1-2中的R13插B13为例 首先构造如下

函数分别计算东北方向Ne与西北方向Nw的梯度值。

Ne=|B9-B17|+|R5-R13|+|R13-R21|+|G9-G13|+|G13-G17|

Nw=|B7-B19|+|R1-R13|+|R13-R25|+|G7-G13|+|G13-G19|

然后在梯度值小相关性大的方向上进行插值。

如果(Ne<Nw) 即东北方向的关联性大此时

·24· 北京电子科技学院学报 2006年

B 13=hue_transit(G9,G 13,G 17,B9,B 17)

否则

B 13=hue_transit(G7,G 13,G 19,B7,B 19)

在蓝色像素处插红色分量时方法与在红色像素处插蓝色分量类似。 至此所有的颜色分

[2] Shotaro Moriya et al Advanced Demosaicing methods on the changes of colors in a local region[J] IEEE Transactions onconsumer electronics,2006, 52(1)

[3]J F Hamilton,J E Adams Adaptive color plan interpolation in single sensor color electric camera[M]U S Patent 5 629 734,

1997

[4]D D Muresan and T W Parks Optimal recovery approach to image interpolation[J] IEEE Proc Int Conf Image Processing,2001,3(10):848-851

作者简介

施勇红 1976- 男陕西周至人西安电子科技大学信息科学研究所硕士研究生 中国人民解放军69036部队助理工程师主要研究方向为网络与多媒体通信

霍俊彦 1982-   女 山西祁县人西安电子科技大学信息科学研究所博士研究生主要研究方向为网络与多媒体通信卢峰1977-  男陕西西安人西安电子科技大学信息科学研究所硕士研究生兰州军区通信网络管理中心工程师主要研究方向为网络与多媒体通信。

下转第33页

第14卷 赵 阳 李蓓丽 施云惠数据信号的噪声处理 · 33 ·

[5]DONOHO D De-noising by soft-thresholding[J]IEEE Trans Information Theory, 1995,41(3) : 613-626

作者简介

赵 阳(1973- )男,工程师,研究领域是网络通讯

施云惠女,北京工业大学副教授,研究领域是图像编码、视频编码 李蓓丽女公务员

研究领域是数据挖掘。

A Denoising Method Based on New Wavelet Transforms

ZHAO Yang1 SHI Yun-hui2 LI Bei- li3

(1.Depa rtment of Informa tion Technology,China Construction Bank Branch,Beijing 100068,China ;2.Beijing

University of Technology,Beijing 100022, China;3.Harbin Tax Burea u,Harbin,Heilongjiang 150025,China)Abstract:The defects of the classical wavelet transforms are analyzed systemically In the classical continuous wavelet inversetransform, the integral variables are indep endent As the integral variab les are dependent the corresponding numeral integral hashigh resolution The fact that the integral variable of the inverse transform appears in the denominator of integrand reducesresolution of the numeral integral and blocks the application of them So a new type of continuous wavelet transform is proposedNo matter what we discretize integral variables, any numeral integral has a high resolution, and the integral variable does notapp ear in the denominator of the integrand In addition, the corresp onding numerical method is obtained Finally, a filter based onthe new CWT is present By dealing with the signals with white noise and outlier, the white noise and outlier in the signals couldbe completely wiped off and the original signals could be reconstructed without prior distribution of the noise compared with othertraditional wavelet denoising methods,the new CWT can achieve higher signal- to-noise ratio

Key words: continuous wavelet transform;white noise; outlier

上接第24页

Demosaicing Algorithm Based onPixel Grouping

SHI Yong-hong HUO Jun-yan LU Feng HUANG Wei

(Xidian UnivXi’ an,Shanxi 710071,China)

Abstract:This p ap er describes a new color filter array demosaicing algorithm that makes use of some prop erties of images’ pixelgrouping We found this algorithm can reduce some of the common artifacts introduced by the demosaicing process according tothe result of exp eriment Preliminary studies show that the p erformance of the algorithm is generally comp arable to both VariableInterpolation by Gradients and Linear interpolation The new algorithm overcomes some deficiencies of above two algorithms insp ecific cases

Key words:demosaicing;p ixel group ing