内插基于全相位DCT_IDCT内插的去马赛克算法

第35卷第12期 光电工程 Vol.35,No.122008年12月 Opto-Electronic Engineering Dec,2008

文章编号 1003-501X(2008)12-0096-05

基于全相位DCT/IDCT内插的去马赛克算法

李 莉1,2 侯正信1 王成优1 何 凡1

( 1天津大学电子信息工程学院天津300072 

2天津工程师范学院电子工程系天津300222)

摘要针对消费类摄像设备中的马赛克问题本文提出了一种基于全相位DCT/IDCT内插滤波器的色差空间去马赛克算法。该方法根据三种颜色图像之间的相关性及采样特点采用全相位IDCT菱形半带滤波器实现了绿色图像重构并用全相位延拓DCT内插滤波器实现了红绿色差和蓝绿色差的重构。其中全相位IDCT内插滤波器是纯二维滤波器且能够直接实现五点梅花形采样矩阵与矩形采样矩阵之间的转换。而全相位延拓DCT内插滤波器能够有效地抑制FIR滤波器的吉布斯效应。实验结果表明本文算法比双线性内插算法重构图像PSNR最多高6 dB 能够保留更多的图像边缘细节且比自适应算法运算效率高。

关键词去马赛克 内插全相位滤波器 Bay er模式 DCT/IDCT

中图分类号 TN713 文献标志码 A

Demosaicing Algorithm Based on All Phase DCT/IDCT Interpolation

LI Li1,2 HOU Zheng-xin1WANG Cheng-you1 HEFan1

( 1 School ofElectronic Information Engineering,Tianjin University,Tianjin 300072,China;

2 Department ofElectronic Engineering,Tianjin University of Technology andEducation,Tianjin 300222,China)Abstract: To resolve the problem of mosaicing in portable cameras, a color difference space demosaicing algorithmbased on all phase DCT/IDCT filters was presented According to the correlation between the three color planes of colorimage and their sampling grids type,all phase diamond halfband IDCT filter was used to reconstruct the green image,andall phase extended DCT interpolation filter was used to reconstruct the R-G and B-G images All phase IDCTinterp olation filter was a pure 2-D filter which could convert between quincunx samp ling grid and s quare samp ling griddirectly,while all phase extended DCT interp olation filter could restrain the Gibbs effect of FIR filters Exp erimentalresults show that the Peak Signal-to-noise Ratio(PSNR)of reconstructed images outp erform that of bilinear interpolationup to 6dB And the proposed method can preserve more image edge details and has higher computational efficiency thanother adaptive methods

Key words: demosai cin g; interp olation;all p has e digital fi lter;Bay er mode;D CT/ID CT

1 引 言

在现代消费类数码相机、摄像头等设备中为了简化工艺、降低成本在每个像素位置只用一个CMO S或CCD传感器因此在每个像素仅能记录R、G、B三基色中的一种颜色。通常采用彩色滤波器阵列(ColorFilter ArrayCF A) 按像素空间位置交替记录三种颜色成份如图1所示为最常用的Bayer模式[1] 。从交替模式中估计缺失的颜色成份重构彩色图像称为图像的去马赛克(Demosaic ing)或者彩色内插(Colorinterpo lat ion) 。

若分别内插R、G、B三幅图像则可以直接应用传统的图像内插算法如双线性内插、立方内插等。

收稿日期 2008-06-23 收到修改稿日期 2008-08-05基金项目天津市自然科学基金资助项目(07JCYBJC13800) 教育部博士点新教师基金项目(20070056104)

作者简介李莉(1973-) 女(汉族) 天津人副教授博士生主要研究工作是数字图像处理与编码等。E-mail: lili7312@gmail com

2008年12月 李 莉等基于全相位DCT/IDCT内插的去马赛克算法 97

但是在去马赛克过程中除面临边缘模糊等一般内插问题外还面临颜色失配问题即在重建时由于像素三个成份之间原有的内在联系被改变而导致重建图像中出现颜色干扰。因此一种好的去马赛克算法应该充分考虑像素三个成份间的相关性、能够保留图像边缘并具有较高的运算效率。

文献[2]对2005年前的去马赛克算法进行了综合比较。其中Guntur k等人[3]提出的球面投影法(Projections Onto Convex Sets POCS)具有最小均方误差。该方法首先用线性方法内插出各颜色图像利用R和B图像的已知信息更新G图像。然后对各图像进行子带分解更新R和B图像的高频子带使其与G图像的高频子带最接近最后再重建两个图像并多次迭代。但这种迭代算法的复杂度很高且没有找到计算最佳迭代次数的途径可能出现迭代次数增加重建效果反而下降的现象。2007年Li等[4]提出的立方样条(Cubic spline)内插算法对G图像有较好的重构效果。该算法在求解立方多项式时将三种颜色成份间的相关性作为特别条件并沿检测到的边缘方向进行内插有效地避免了边缘模糊。但其R和B图像重构方法欠佳从而影响了整体重构效果且其边缘方向图的计算复杂、运算量大。

本文将色差空间法与全相位内插理论结合既充分利用了各颜色成份之间的相关性又能够有效地抑制吉布斯效应减小内插误差。该算法明显优于其它线性算法且比自适应或迭代算法简单且易于硬件实现。2 色差空间内插

缘也相对较帄滑[5] 。原始颜色图像与相应色差图像对比如图2所示。 图1 Bayer CFA模式

结合Bayer模式RGB图像采样栅格的特点设计了色差空间内插算法其结构如图3所示。直接用全相违IDCT内插器重构G图像用延拓DCT内插核重构色差图像R-G和B-G。最后再分别与内插后的G图像相加得到R和B的重构图像。

图2 颜色图像与色差图像 图3 色差空间内插框图

Fi3 全相位IDCT内插

文献[6]建立了全相位理论并提出了一种新的FI R数字滤波器设计方法。采用不同的正交变换核如DCT、 IDCT、F ourier或Wals h均可设计出不同频率响应特性的一维或纯二维全相位数字滤波器[6-8] 。文献

[7]将二维IDCT内插滤波器用于金字塔分解中的内插取得了较好的重构效果。而且应用全相位IDCT内插滤波器可以直接实现五点梅花与矩形采样结构之间的空域转换适合G图像的内插。为避免

重复这里直接给出设计公式。对于二维空间的数据点Z(m,n) 其列率滤波输出为

YCT(FCZCT)C (1)式中C是DCT变换矩阵F是NN阶列率响应矩阵。二维全相位数字滤波器的一般卷积形式为

Y(m)

98 光电工程 第35卷第12期

其中Q是(2N1)(2N1)阶的二维全相位数字滤波器它具有线性相位特性即

Q(m,n)Q(m,n)Q(m,n)Q(m,n) 0mN1  0nN1 (3)

Q(N1,0) Q(N1, 1) … Q(N1,N1)

且当变换为DCT和IDCT时 Q1/4GFGT (4)

对全相位IDCT滤波器G中的元素为

 1

N i0, 0jN1

0.01 0 0.06 0 0.06 0 0.01

 0 0.06 0 0.34 0 0.06 0 

Q10.01 0 0.34 1 0.34 0 0.01

0.01 0 0.06 0 0.06 0 0.01



4 全相位延拓DCT内插

上述不可分离的纯二维全相位IDCT内插器只适用于整数倍内插且只能实现五点梅花与矩形采样结构之间的空域转换。为实现矩形采样结构内插需要将Q 1旋转45°后得到Q2 然后用Q 1和Q2分别内插两次才能实现。而全相位延拓DCT内插能够抑制离散信号截断处理时

函数内插质量总能好于双线性内插和大多数内插应用中的立 图5 延拓DCT信号内插重构方内插插。图5是用延拓DCT实现任意位置数据内插的框图。

设有限长信号x(t)  0tNT 以T为采样间隔采样点数为N。通常的DCT和IDCT为

N1

A(l)(l,n)x(n) l0, 1,…,N1 (6)n0

x(m))

令t=m则原始连续信号可由下式内插重构

2008年12月 李 莉等基于全相位DCT/IDCT内插的去马赛克算法 99

xˆ(t)(t,l)A(l)H(t,n)x(n) (8)l0 n0

H(t,n))

为减小FIR滤波器设计中因截断而导致的吉布斯效应基于帄均思想定义了全相位内插重构。

x

全相位内插的重构值即以上三个重构值的帄均 图6 全相位延拓DCT内插示例(N=4)

令k=i-j则可推导出)

h(k))

如果将坐标原点标定在插值点变量x表示采样点到插值点的距离则基于6点信息(N=4)的内插核函数为

(1/3)H(x,0)  3x2h6(x))

(1/3)H(3x,3)  2x3

5 实验结果

用12幅512×768测试图像 ImglImg12先按Bay er模式对RGB图像分别采样然后用双线性(bilinear)内插、立方样条(cubic spline)内插[4]和本文算法重构彩色图像将原图与重构图比较测试各算法性能。表1给出了各算法重建每幅图像的R、G、B三图像与其各自真实值之间的峰值信噪比(Peak Signal to NoiseRatio P SNR) 。可看出本文算法对所有图像的三种颜色图像内插效果均优于双线性内插其中对G图像

两种算法。在一台D60 GHz, 0.98 G内存)上用Matlab7.0运行三种算 图7 Lighthouse图像重构效果比较

100 光电工程 第35卷第12期

表1 去马赛克PSNR比较

Table 1 ComparisonofdemosaicingPSNR dB

6 结 论

本文所提出的算法充分利用了Bayer模式中采样值之间的本质联系将两种全相位数字滤波器巧妙地用于G图像和色差图像的重构效果明显优于双线性算法并且具有较高的运算效率适合移动摄像设备等应用。如采用基于CFA模式的彩色图像压缩则去马赛克可以在压缩图像拷贝到计算机后进行因此下一步研究可以将本文算法与复杂的迭代算法相结合进一步提高重构图像的质量。

参考文献

[1] Bayers B E Color ImagingArrays U S Patent,3971065 [P] 1976-7

[2]Gunturk Bahadir K Glotzbach John Altunbasak Yucel etal Demosaicking Color Filter Array Interp olation[J] IEEE S ignalProcessing Magazine(S pecial Issue on Color Image Pro cessing) 2005 22(1) 44-54

[3]Gunturk Bahadir KAltunbasak YucelMersereau Russell M Color Plane Interp olation Using Alternating Projections [J] IEEETransactions on Image Processing 2002 11(9) 997-1013

[4]Li J S Jimmy Randhawa Sharmil Colour Filter Array Demosaicing Using Cubic Spline Interpolation[C]//Proceedings ofIEEE International Conference on theAcoustics,Speech andSignal Processing [S l ]  IEEE 2007 865-868

[5]Pei S C Tam I K Effective Color Interpolation in CCD Color Filter Arrays Using Signal Correlation[J] IEEE Transactionson Circuits andSystems for Video Technology 2003 13(6) 503-513

[6]侯正信王兆华杨喜全相位DFT数字滤波器的设计与实现[J]电子学报 2003 31(4) 539-543

HOU Zheng-xinWANG Zhao-hua YANG Xi Design and Implementation of All Phase DFT Digital Filter[J] ActaElectronica Sinica 2003 31(4) 539-543

[7] 郭旭静侯正信全相位Cont ourlet在图像去噪上的应用[J]天津大学学报 2006 39(7) 832-836

GUO Xu-jing HOU Zheng-xin Application of the All Phase Contourlet on Image denoising[J] Journal of TianjinUni ve rs i ty 2006 39(7) 832-836

[8] 何宇清侯正信基于全相位沃尔什内插核的图像插值[J]中国图象图形学报 2007 12(10) 1865-1868HE Yu-qingHOU Zheng-xin Algorithm for All phase Walsh Interpolation[J] Journal of Image and Graphics 2007 12(10)1865-1868

[9]赵黎丽侯正信全相位DCT图像内插算法的研究[J]湖南大学学报(自然科学版) 2007 34(7) 78-81

ZHAO Li-li HOU Zheng-xin All Phase DCT Image Interpolation Algorithm[J] Journal of Hunan University(NaturalS cience s) 2007 34(7) 78-81