匹配m.yushuwu.com

——基于SURF和形状上下文的人脸匹配算法作者师硕,于洋,杨志坚,于明机构河北工业大学计算机科学与软件学院;北方自动控制技术研究所基金项目天津市科技计划项目(14RCGFGX00846);河北省自然科学基金面上项目(F2015202239);天津市科技计划项目(15ZCZDNC00130)预排期卷《计算机应用研究》2018年第35卷第10期摘要针对人脸匹配在光照、姿态、表情等背景因素影响下匹配正确率低的问题,提出一种基于SURF(speededuprobustfeatures)和形状上下文(shapecontext,SC)的人脸图像匹配算法.
在对图像进行人脸区域检测和重构积分图预处理的基础上,利用两次SURF算法提取人脸特征点并匹配,第一次用SURF进行粗匹配得到初始匹配集,并据此计算待匹配人脸图像间的尺度差和角度差,以此作为约束条件第二次进行SURF精匹配,以获得更多的匹配点对,最后采用不依赖位置信息的形状上下文算法剔除误匹配点对.
在IMM和Georgia人脸数据库上与目前流行的人脸匹配方法进行实验对比,实验结果显示所提算法有效增加了匹配点对数目,并提高了人脸图像匹配正确率,具有更好的稳定性和鲁棒性.
关键词人脸图像匹配;加速鲁棒特征;形状上下文;误匹配点剔除作者简介师硕(1981-),女,河北保定人,讲师,博士,主要研究方向为图像处理、特征提取;于洋(1981-),男(通信作者),讲师,博士,主要研究方向为图形处理、车辆识别(yuyang@scse.
hebut.
edu.
cn);杨志坚(1990-),男,助理研究员,硕士,主要研究方向为图像处理、软件工程;于明(1964-),男,教授,博士,主要研究方向为图像处理、模式识别.
中图分类号TP391.
41访问地址http://www.
arocmag.
com/article/02-2018-10-041.
html发布日期2017年9月27日引用格式师硕,于洋,杨志坚,于明.
基于SURF和形状上下文的人脸匹配算法[J/OL].
2018,35(10).
[2017-09-27].
http://www.
arocmag.
com/article/02-2018-10-041.
html.
第35卷第10期计算机应用研究Vol.
35No.
10优先出版ApplicationResearchofComputersOnlinePublication基金项目:天津市科技计划项目(14RCGFGX00846);河北省自然科学基金面上项目(F2015202239);天津市科技计划项目(15ZCZDNC00130)作者简介:师硕(1981-),女,河北保定人,讲师,博士,主要研究方向为图像处理、特征提取;于洋(1981-),男(通信作者),讲师,博士,主要研究方向为图形处理、车辆识别(yuyang@scse.
hebut.
edu.
cn);杨志坚(1990-),男,助理研究员,硕士,主要研究方向为图像处理、软件工程;于明(1964-),男,教授,博士,主要研究方向为图像处理、模式识别.
基于SURF和形状上下文的人脸匹配算法*师硕1,于洋1,杨志坚1,2,于明1(1.
河北工业大学计算机科学与软件学院,天津300401;2.
北方自动控制技术研究所,太原030006)摘要:针对人脸匹配在光照、姿态、表情等背景因素影响下匹配正确率低的问题,提出一种基于SURF(speededuprobustfeatures)和形状上下文(shapecontext,SC)的人脸图像匹配算法.
在对图像进行人脸区域检测和重构积分图预处理的基础上,利用两次SURF算法提取人脸特征点并匹配,第一次用SURF进行粗匹配得到初始匹配集,并据此计算待匹配人脸图像间的尺度差和角度差,以此作为约束条件第二次进行SURF精匹配,以获得更多的匹配点对,最后采用不依赖位置信息的形状上下文算法剔除误匹配点对.
在IMM和Georgia人脸数据库上与目前流行的人脸匹配方法进行实验对比,实验结果显示所提算法有效增加了匹配点对数目,并提高了人脸图像匹配正确率,具有更好的稳定性和鲁棒性.
关键词:人脸图像匹配;加速鲁棒特征;形状上下文;误匹配点剔除中图分类号:TP391.
41FaceimagematchingalgorithmbasedonSURFandshapecontextShiShuo1,YuYang1,YangZhijian1,2,YuMing1(1.
SchoolofComputerScience&EngineeringHebeiUniversityofTechnology,Tianjin300401,China;2.
NorthAutomaticControlTechnologyInstitute,Taiyuan030006China)Abstract:ThispaperproposedafaceimagematchingalgorithmbasedonSURF(speededuprobustfeatures)andshapecontexttosolvetheproblemthatthematchingaccuracywaslowundertheinfluenceofbackgroundfactorssuchasillumination,attitudeandexpression.
Basedonthepreprocessingofthefaceregiondetectionandreconstructionofintegralimage,thispaperusedtwiceSURFtoextractfacefeaturepointsandmatch.
Thefirstroughmatchobtainedtheinitialmatchsetandcalculatedthescaledifferenceandtheangledifferencebetweenthefacestobematched.
TheSURFfinematchingperformedagainwiththescaledifferenceandtheangledifferenceastheconstraintconditiontoobtainmorematchingpairs.
Finally,thepaperusedtheshapecontextalgorithm,whichdidnotrelyonthepositioninformation,toeliminatethemisplacedpointpairs.
ComparedwithothercurrentlypopularfacematchingalgorithmsonIMMandGeorgiafacedatabases,theexperimentalresultsshowthatthealgorithmimprovesthematchingaccuracyonthebasisofobtainingmorematchingpoints,andhasbetterstabilityandrobustness.
KeyWords:faceimagematching;SURF;shapecontext;falsematchpointremoved0引言人脸图像信息具有广泛的应用范围和实用价值,一直是计算机视觉研究领域中的热点.
但人脸五官分布具有复杂性,加上光照、角度、表情及遮挡等因素的影响,使得人脸图像信息的处理和匹配面临很多挑战.
图像匹配是指在两幅或多幅图像中根据某一匹配算法找出对应的相似点,特征点的提取与匹配是整个过程的基本环节[1].
目前已有很多特征点提取与匹配方法被提出.
如Harris[2]和SUSAN(smallestunivaluesegmentassimilatingnucleus)[3]等角点检测算法,其算法简单、位置准确,但检测子对图像的尺度变化敏感,图像尺度的变化可导致特征点不具有可重复性.
SIFT(scaleinvariantfeaturetransform)特征[4]具有旋转和尺度不变性,在光照变化、仿射变换以及遮挡等情形下具有良好的鲁棒性.
但其特征点计算复杂,特征描述子维度较高,导致算法时间效率不高.
针对这个问题文献[5]通过CNN(convolutionalneuralnetworks)对其进行改进,或采用硬件设备如FPGA实现算法以加快速度[6].
加速鲁棒特征(speededuprobustfeatures,SURF)算法[7]是在SIFT基础上提出的,算法在适应性、鲁棒性及时间消耗上明显优于其他同类方法,在人脸识别、匹配[8,9]方面到了广泛应用和大量改进[10].
优先出版师硕,等:基于SURF和形状上下文的人脸匹配算法第35卷第10期形状上下文(shapecontext,CS)[11]是一种富含形状特征的描述子,因其良好的匹配特性已经在手写字体识别[12]、人脸匹配[13]及冠状动脉识别[14]等领域中得到了广泛的应用.
但传统的形状上下文只能匹配简单的形状,轮廓点通过均匀或随机采样边界点得到,不能很好地体现出形状信息,并且计算极坐标直方图时把质心点作为坐标中心,而计算质心点的方法复杂,时间开销大.
图像匹配过程中经常产生错误匹配点对,文献[15,16]等利用随机采样一致性(randomsampleconsensus,RANSAC)算法消除误匹配的影响.
RANSAC[17]是假设样本点中包含正确数据内点和异常数据外点,通过不断迭代计算出适应绝大多数内点的基础矩阵模型,剔除掉不满足基础矩阵模型的外点.
由于采用随机采样,虽然可以剔除误匹配但同时大量的正确匹配对也会被剔除掉,而且模型参数不固定,每次运行结果不一样,使得算法不具有稳定性.
针对上面算法在图像匹配中存在的不足,本文采用两次SURF算法和形状上下文算法进行人脸图像匹配.
算法采用两次SURF(twiceSURF,TSURF)进行人脸图像特征提取和匹配,充分发挥了SURF特征的优势并结合两幅待匹配图像间的尺度差和角度差,获得了较多得匹配点对,又采用不依赖位置信息的形状上下文算法剔除误匹配点对,保证了人脸图像在获得较多匹配点对情况下,具有较高的匹配准确率和良好的匹配效果.
1图像预处理1.
1人脸区域检测人脸图像一般含有头发、颈部、肩膀及背景等影响人脸特征提取的干扰因素,因此需要采用AdaBoost[18]检测人脸区域.
首先选择与原图像成一定比例大小的人脸搜索框从左向右从上到下对图像进行扫描,本文选用20*20像素的人脸搜索框,并用OpenCV正面人脸检测分类器判断每一个扫描到的子图像是否为人脸图像.
然后搜索框放大10%重新扫描,直到搜索框的大小超过图像大小1/2时停止,此时潜在的人脸区域均被检测出来.
文献[19,20]表明人脸肤色在去除了亮度分量的颜色空间上具有聚类性,因此对检测到的人脸区域进行肤色验证.
本文将每一个潜在人脸区域从RGB颜色空间转换到YCrCb[21]颜色空间.
去除亮度分量后,判断Cr和Cb分量是否同时满足一定阈值条件,如果潜在人脸区域内有40%以上的像素点满足,则认为是正确的人脸区域.
图1为人脸区域检测结果.
1.
2重构积分图针对SURF是角点类型的特征点,为在人脸区域获得更多的特征点,本文对人脸区域图像进行重构变化.
首先将人脸区域转换为灰度图像,再根据式(1)计算像素点的显著因子[22].
(1)其中:为放大系数;为人脸图像中像素点;与以其为中心的八邻域的灰度差分,如式(2)所示.
(2)用显著因子代替原图的像素值生成积分图,人脸区域重构变换前后效果如图2所示.
可见人脸中眼睛、鼻子等包含有效人脸特征的部位边缘更加明显,利于特征点检测过程中获得更多、更具代表性的特征点.
2基于SURF算法的人脸图像匹配SURF算法采用DOH(determinantofhessian)获取特征点,用Harr小波模板提取特征,采用积分图像对DOH中的高斯二阶微分进行简化,将复杂的卷积运算近似成几个加减运算,因此加速了计算DOH和Haar模板响应.
SURF算法主要由特征点检测和特征描述子两部分组成.
为了在人脸图像中找到尽量多的正确匹配点对,本文采用TSURF(twiceSURF)算法,即进行两次SURF操作,第一次SURF粗匹配获得两幅图像间的尺度差和角度差,然后在尺度差和角度差为约束条件下再进行一次SURF的精匹配.
2.
1基于SURF的人脸粗匹配对两幅匹配图像提取SURF特征点,待匹配图像中的每一个特征点与模板图像中所有特征点逐个进行比较.
如果两个特征点的Hessian矩阵迹正负号不同,则跳过模板图中的这个特征点不再计算它们之间的相似性;反之,即Hessian矩阵迹正负号相同,则计算它们之间特征点描述子的欧氏距离.
当待匹配图像中某个特征点与模板图像中所有特征点间的欧氏距离计算完毕后,得到其最近邻距离和次近邻距离.
当且时,(为预先设定的阈值),将该点与其最近邻记为一对匹配点,存入初始匹配集.
粗匹配的结果如图3所示.
可见粗匹配得到的匹配点对数量不多.
图1人脸区域检测效果图2积分重构变换效果图3粗匹配效果优先出版师硕,等:基于SURF和形状上下文的人脸匹配算法第35卷第10期2.
2约束下的精匹配粗匹配后得到初始匹配集,据此计算匹配点对之间的尺度差、角度差,再统计所有匹配点对尺度差的均值、标准差,以及角度差的均值.
尺度差和角度差均值作为待匹配图像与模板图像之间的尺度变化和旋转角度.
大量实验显示,尺度差设在与之间,角度差设在与之间时,可得到最好的匹配效果.
精匹配过程首先清空初始匹配集,当待匹配点与模板图像中特征点的Hessian矩阵迹正负号相同时,则计算它们间的尺度差、角度差.
若、满足先验条件:(3)则计算两点之间的欧氏距离;若满足且时,将待匹配点与其最近邻记录为一对匹配点存入匹配集中.
如果不满足式(3),则跳过模板图中的这个特征点,不再计算它与待匹配点间的欧氏距离.
加入约束条件后,由于正确匹配点对一定满足约束条件,所以绝大多最近邻距离不受影响.
但模板图像中一些与待匹配点欧氏距离很小的特征点,由于不满足约束条件所以被跳过而没有选做次近邻,导致待匹配点与次近邻的距离间接变大,增加了满足条件且的点对数目,使得匹配点对数目增多.
精匹配结果如图4所示.
相对粗匹配结果可见,TSURF算法获得了大量正确的匹配对,但也增加了少数几个明显误匹配点对.
3形状上下文剔除人脸特征误匹配3.
1形状上下文算法形状上下文是一种用于形状匹配和物体识别的描述符,具备良好的尺度和旋转不变性,不仅可以度量图案元素间的匹配误差,还能够建立特征点对应关系[12].
形状上下文用一个点的采样点集来表示物体形状,点集中任意一个轮廓点的形状信息可以由所有其他轮廓点与之形成的相对向量集表示.
相对向量集以每个轮廓点为中心构建对数极坐标系,然后统计这些相对向量落在每个扇形区的直方图分布.
对于点的直方图如式(4)所示.
(4)其中:表示落在当前扇形区内采样点的个数;,为角度参数和半径参数的乘积,即扇形区总数;表示相对于,点属于形状直方图的第分量.
计算个轮廓点的形状直方图,即得到整个图像的形状上下文描述子.
生成形状上下文描述子后进行人脸图像匹配.
匹配过程中,对于分别属于两个图像中的点和,定义它们之间的匹配代价cost值为(5)其中:和分别为两幅图像中点和点的第k维形状上下文描述子.
3.
2剔除误匹配点本文将匹配集中的特征点分别作为待匹配图像和模板图像的轮廓点,因此两幅图像的轮廓点数目相同.
然后计算每个轮廓点在距离取对数归一化后分为5个区间,角度分为12个区间,共5*12个扇区内的直方图,生成的60维形状上下文描述子.
对两幅图像中所有轮廓点均计算cost值,得到cost集.
本文计算出两幅匹配图像所有匹配点对间的形状上下文描述子的匹配代价cost集后,统计其均值和标准差,然后将cost不满足式(6)的匹配对当作误匹配剔除掉,剩余的则为最终的匹配集.
(6)通常误匹配之间的形状上下文描述子匹配代价会比正确匹配对之间的高出很多,通过均值加标准差作为阈值,高于这个值的作为误匹配剔除掉,这样可以剔除绝大多数误匹配,只有极少数位置偏差较小的误匹配可能不会被剔除.
4实验结果与分析本文使用IMM和Georgia人脸数据库进行实验.
IMM包含40个人共240张640*480像素的人脸图像.
每人分别有标准正面、姿态变化、表情变化、光照变化以及同时包含两种或三种变化的人脸图像.
Georgia人脸数据库包含50个人,每人15幅640x480像素的彩色人脸图像.
人脸图片背景杂乱,人脸区域平均大小为150x150像素,包含正面、倾斜、不同表情、不同光照及不同姿态的人脸图像.
实验设备为一台IntelCorei32.
26GHz处理器,4GB内存的笔记本电脑,算法通过VS2005和OpenCV2.
3.
1平台实现.
4.
1图像特征匹配实验分别随机选取多组不同姿态、不同光照及不同表情的人脸图像进行实验.
将且作为特征点是否匹配的判定条件,因对匹配结果影响较小且不宜做太大变动,实验时保持经验值0.
4不变,取0.
7.
SURF[8]、SURF+RANSAC[10]、TSURF+RANSAC和本文TSURF+SC算法在姿势、表情和光照变化下的匹配效果如图5~7所示.
可见在三种不同情况的人脸图像匹配过程中,本文算法均能得到最多的正确匹配点对,能较好地保证匹配效果.
图4精确匹配效果优先出版师硕,等:基于SURF和形状上下文的人脸匹配算法第35卷第10期从表1可以看出,本文算法在正确匹配数目上比经典SURF算法高出一倍甚至两倍,比SURF+RANSAC算法高出三倍甚至更多,说明本文所采用的TSURF算法比原始SURF算法能检测到更多正确的匹配点对;比TSURF+RANSAC算法也高出一倍多,这是因为剔除误匹配时,RANSAC算法剔除掉了很多正确匹配对.
从剔除数目和正确率两种性能方面看出,形状上下文能够准确剔除误匹配并同时保留大量正确匹配.
但因为TSURF要进行粗匹配和精匹配两次运算,增大了时间消耗.
4.
2不同匹配阈值下的匹配效果实验验证了阈值分别取0.
6、0.
7、0.
8和0.
9时的正确匹配对数目及匹配正确率.
图8~10分别表示四种算法对不用姿态、不同表情和不同光照的人脸图像在各个阈值下的正确匹配点对数和正确率曲线图.
从图8~10中可以看出,本文算法在分别取0.
6、0.
7、0.
8和0.
9四种阈值下,正确匹配数目都远远高于三种对比算法,甚至是对比算法的数倍,充分说明了本文算法的有效性和鲁棒性.
但正确率有时会低于其他算法,原因是此时其他算法的对应的匹配点对数目太少,这种情形下即使正确率较高也不能保证有良好的匹配效果.
5结束语人脸匹配广泛应用在安防等领域,基于特征点及形状的匹配方法已经在很多文献中得到很好的验证,本文在深入比较国内外现有人脸匹配技术的基础上,提出两次SURF和形状上下文的人脸匹配算法.
通过人脸区域检测和重构积分图预处理,增强人脸轮廓特征.
特征点提取和匹配过程提出TSURF算法,首先通过粗匹配得到初始匹配集,根据初始匹配集计算待匹配人脸图像间的尺度差和角度差,并作为约束条件再次进行精匹图5不同姿态的匹配效果图6不同表情的匹配效果图7不同光照的匹配效果表1多种算法的匹配效果比较算法正确匹配剔除数误匹配正确率/%总用时/s不同姿态SURFSURF+RANSACTSURF+RANSACTSURF+SC20132038027288314285.
0092.
3180.
0094.
741.
1701.
1702.
6992.
667不同表情SURFSURF+RANSACTSURF+RANSACTSURF+SC24153785097022523679.
1786.
6791.
9092.
941.
6681.
6694.
7914.
944不同光照SURFSURF+RANSACTSURF+RANSACTSURF+SC1310265003317222284.
6280.
0092.
3196.
001.
5291.
5294.
1654.
180优先出版师硕,等:基于SURF和形状上下文的人脸匹配算法第35卷第10期配,以此获得更多的匹配点对.
为减少误匹配点对,将匹配点对作为采样点采用不依赖位置信息的形状上下文算法进行剔除.
在IMM和Georgia人脸数据库实验,与其他几种常见算法的匹配效果进行了对比,并验证了本文算法在不同匹配阈值下的匹配点对数目及正确率.
结果表明,本文算法在获得较多匹配点对数目的基础上,能有效提高人脸图像匹配的正确率,并具有较好的稳定性和鲁棒性.
但因为运行了两次SURF算法,增加了时间开销,还需继续研究精匹配过程中如何有效利用粗匹配过程中的计算数据,以便加快匹配速度.
参考文献:[1]朱奇光,张朋珍,李昊立,等.
基于全局和局部特征融合的图像匹配算法研究[J].
仪器仪表学报,2016,37(1):170-176.
[2]PriscillaCV,PoornaB.
Imageregistrationandnosedetectionusingaffinetransformation[J].
InternationalJournalofComputerTechnologyandApplications,2013,4(2):209-216.
[3]彭勃宇,王崴,周诚,等.
面向增强现实的SUSAN-SURF快速匹配算法[J].
计算机应用研究,2015,32(8):2538-2542.
[4]Lowe,DG,Distinctiveimagefeaturesfromscale-invariantkeypoints[J].
InternationalJournalofComputerVision,2004,60(2):91-110.
[5]ZhangGuixuan,ZhiZeng,ShuwuZhang,etal.
SIFTmatchingwithCNNevidencesforparticularobjectretrieval[J].
Neurocomputing,2017,238:399-409.
[6]VourvoulakisJ,KalomirosJ,LygourasJ.
FPGAacceleratorforreal-timeSIFTmatchingwithRANSACsupport[J].
Microprocessors&(a)正确匹配对数目(b)正确率图8不同姿势的曲线图(a)正确匹配对数目(b)正确率图9不同表情的曲线图(a)正确匹配对数目(b)正确率图10不同光照的曲线图优先出版师硕,等:基于SURF和形状上下文的人脸匹配算法第35卷第10期Microsystems,2016,49:105–116.
[7]BayH,EssA,TuytelaarsT,etal.
Speeded-uprobustfeatures(SURF)[J].
ComputerVisionandImageUnderstanding,2008;110(3):346-59.
[8]SharmaP,SharmaS,ScholarPG,etal.
Facerecognitionanddetectionusinghausdorffdistance,SURFandSVM[J].
InternationalJournalofEngineeringScience,2016:3112-3114.
[9]SinghNA,KumarMB,BalaMC.
FacerecognitionsystembasedonSURFandLDAtechnique[J].
InternationalJournalofIntelligentSystemsandApplications.
2016,8(2):13.
[10]蒋凌志.
SURR特征及预处理RANSAC算法在人脸识别中的应用[J].
计算机科学,2015,42(11A):209-212.
[11]BelongieSJ,MalikJ,PuzichaJ.
Shapematchingandobjectrecognitionusingshapecontexts[J].
IEEETransonPatternAnalysis&MachineIntelligence,2002,24(4):509-522.
[12]AdamskiM,SaeedK.
Offlinesignatureverificationbasedonshapecontextsusingsharedanduser-specificthresholds[J].
JournalofMedicalInformatics&Technologies,2013,22:195-202.
[13]陈慧静,夏小玲.
基于形状上下文的人脸匹配算法[J].
计算机工程,2009,35(3):208-210.
[14]Xiao,Ruoxiu,YangJian,FanJingfan,etal.
Shapecontextandprojectiongeometryconstrainedvasculaturematchingfor3Dreconstructionofcoronaryartery[J].
Neurocomputing,2016,195:65-73.
[15]邹晓春,何明一,赵歆波.
基于二维投影变换的视频全景图拼接算法[J].
数据采集与处理,2012,27(5):528-534.
[16]YueWu,MaWenping,GongMaoguo,etal.
Anovelpoint-matchingalgorithmbasedonfastsampleconsensusforimageregistration[J].
IEEEGeoscienceandRemoteSensingLetters,2015,1:43-47.
[17]FischlerMA,BollesRC.
Randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography[J].
CommunicationsoftheACM,1981,24(6):381-395.
[18]陈晓倩,许孜奕,陆丽,等.
基于脸部特征的性别识别[J].
数据采集与处理,2010,25(5):595-599.
[19]魏玮,马军福.
自适应的快速人脸肤色转移[J].
中国图象图形学报,2016,21(2):129-134.
[20]ChenWei,WangKe,JiangHaifeng,etal.
Skincolormodelingforfacedetectionandsegmentation:areviewandanewapproach[J].
MultimediaToolsandApplications,2016,75(2):839-862.
[21]王鼎,沈辉,娄海涛.
一种基于H-CrCb颜色空间的肤色检测算法研究[J].
计算机科学,2012,39(s2):223-226.
[22]肖德贵,辛晨,张婷,等.
显著性纹理结构特征及车载环境下的行人检测[J].
软件学报,2014,25(3):675-689.