卷积卷积神经网络

收稿日期:20190731;修回日期:20190911基金项目:国家自然科学基金资助项目(61562086,61966035);新疆维吾尔自治区教育厅创新团队项目(XJEDU2016S035);新疆维吾尔自治区自然科学基金资助项目(2018D01C036);新疆维吾尔自治区研究生创新项目(XJ2019G071,XJ2019G069,XJ2019G072)作者简介:赖振意(1994),男,新疆乌鲁木齐人,硕士研究生,主要研究方向为人脸识别、微表情视频处理分析、目标识别及机器视觉;陈人和(1993),男,重庆人,硕士研究生,主要研究方向为计算机视觉、图像修复、目标识别等;钱育蓉(1980),女(满族)(通信作者),新疆乌鲁木齐人,教授,博导,博士,主要研究方向为网络计算、遥感图像处理、机器学习及大数据处理方向(qyr@xju.
edu.
cn).
结合空洞卷积的CNN实时微表情识别算法赖振意,陈人和,钱育蓉(新疆大学软件学院,乌鲁木齐830000)摘要:随着CNN等基于深度特征的人脸自发式微表情识别分类方法逐渐完善,相比于传统的特征提取方法更易满足应用实时性,针对微表情持续时间短、动作幅度细微,在多卷积层叠加会丢失图像中的细微信息的问题,为了完善细节信息,充分提取微表情细微特征,提出结合空洞卷积核及人脸自动校正算法,完善CNN特征提取过程,通过自动人脸矫正适应实际应用中的实时识别分类,在CASME及CASMEⅡ微表情公开数据集上完成模型训练及测试,通过损失函数方案对比提高模型鲁棒性,CASME中准确率为70.
16%,CASMEⅡ中准确率为72.
26%;实时识别帧率在60fps.
该方法能有效地提高微表情识别准确率,满足实时性要求,且具有较好的鲁棒性和泛化能力.
关键词:微表情识别;空洞卷积;表情识别;卷积神经网络中图分类号:TP39141文献标志码:A文章编号:10013695(2020)12053377704doi:10.
19734/j.
issn.
10013695.
2019.
07.
0273RealtimemicroexpressionrecognitionalgorithmbasedonatrousconvolutionsforCNNLaiZhenyi,ChenRenhe,QianYurong(SchoolofSoftware,XinjiangUniversity,Urumqi830000,China)Abstract:Basedonthedepthfeatureoffacialmicroexpressionrecognition,suchasCNN,theclassificationmethodoffacialmicroexpressionrecognitionisgraduallyimproved.
Comparedwiththetraditionalfeatureextractionmethod,itiseasiertomeettherealtimeapplication.
Inordertoperfectthedetailsandextractthefinefeaturesofmicroexpressions,thispaperproposedanewalgorithmcombiningtheatrousconvolutionskernelandtheautomaticcorrectionoffacetoimprovethefeatureextractionprocessofCNNnetwork.
IttrainedandtestedthemodelonCASMEandCASMEⅡmicroexpressionpublicdatasetsthroughrealtimerecognitioninrealtimeapplicationofautomaticfacecorrection.
Itimprovedtherobustnessofthemodelbycomparingthelossfunctionschemes.
TheaccuracyofthemethodinCASMEis70.
16%andwitchinCASMEⅡis72.
26%.
Realtimerecognitionframerateat60fps.
Thismethodcaneffectivelyimprovetheaccuracyofmicroexpressionrecognition,meettherealtimerequirements,andhasgoodrobustnessandgeneralizationability.
Keywords:microexpressionrecognition;atrousconvolutions;expressionrecognition;CNN0引言微表情是人脸特殊的肌肉动作产生的细微变化,作为一种自然机制的面部行为,无法伪造且反映人类内心真实情感,周期维持在0.
04~0.
5s[1],动作幅度细微,肉眼不易发现,微表情识别在公共安防、心理治疗、谈判交流预测等领域具备广泛的应用价值[2,3],但由于人工识别受到专业训练和时间成本的限制,虽然具备专业工具,但通过人力进行识别的效果从公开文献得知仅为47%[4],难以进行大规模推广.
微表情识别包括人脸识别、人脸校准和微表情分类三个模块.
文献[5]首次提出通过主动形状模型(activeshapemodel,ASM)和局部二进制模式(localbinarypattern,LBP)对微表情进行自动识别.
此后,微表情识别的研究主要集中在微表情特征提取及其分类上.
特征提取上,一方面,通过传统的特征提取方法如LBP算子[5,6]、HOG特征点[7]获取的特征通常是图像浅层特征,虽然这些基于特征的方法从时空纹理的角度充分考虑了人脸表情的变化,但无法有效地描述样本的结构信息,难以区分高维特征间的关系.
文献[8]提出有效二元人脸描述子学习方法,使用特征选择来压缩二进制描述符,采用耦合度量学习算法对微表情样本与宏信息的共享特征进行建模,利用SSVM分类器完成微表情分类.
另一方面,通过光流法[9]等基于运动特征的特征提取方法完成微表情识别,往往由于光流算法的计算量过大,无法满足实时分析需求[10],不能完成大规模的微表情识别;同时,实际拍摄视频的连续帧间也会存在缺乏足够灰度等级变化的区域,会存在真实运动漏检现象[11,12].
文献[13]提出的基于张量表示的最大边界投影算法MMPTR也同时应用于微表情重现.
随着深度网络的发展,深度神经网络开始应用于人脸微表情识别过程中,文献[14]结合长短时记忆LSTM与深度神经网络完成短时微表情识别与发现,利用迁移学习方法扩充了样本较少的微表达式视频片段.
文献[15]通过数据增强技术生成合成图像以扩充微表情数据库,利用数据合并调整出满意的基于CNN的微表达式识别器.
总结现有的微表情分类网络,随着层数的不断增加,虽然提取到充分的特征信息,但也增加了神经节点的计算量,在卷积过程第37卷第12期2020年12月计算机应用研究ApplicationResearchofComputersVol.
37No.
12Dec.
2020中会丢失关键的细节特征;同时现有的微表情数据库都是特定环境下完成视频帧分割筛选后得到的清晰人脸正向图像,训练的模型在实际应用场景下,识别率较测试时普遍下降明显,实时系统的应用情况欠佳.
针对上述问题,本文从CNN卷积层入手更改原有卷积方式,结合空洞卷积方式完成人脸检测及微表情特征提取,以充分利用多层网络的区分性特征;在人脸检测后增加人脸自动校正模块使之适应模型训练,并通过构建分类器完成微表情实时识别与分类.
1结合空洞卷积的CNN模型由于微表情在实时分析过程中环境较为单一、目标明确、特征清晰,且目标定位的准确性要求较低,为了满足长视频拍摄条件下微表情实时分析模型的效率,本文采用onestage检测算法[16]思想,基于CNN模型[17]提出结合空洞卷积的微表情分类模型;在CNN层级结构学习不同层次特征(视频帧图像纹理特征、边缘特征)的基础上,引入空洞卷积[17]充分提取微表情不同尺度的细节特征,达到扩大卷积核感受野,增强多尺度上下文信息的目的.
该方法相比其他检测算法省略了推荐区域生成阶段,直接产生目标的识别准确性及坐标位置,因此具备更强的检测速度,为实时分类奠定基础.
11空洞卷积空洞卷积(atrousconvolution)又名扩张卷积(dilatedconvolution),其卷积构造方法是在传统卷积核中增加权重为0的卷积像素,优势在于弥补了池化过程当中丢失信息的缺陷,可以提升网络精度,被广泛用于图像的全卷积网络与语义分割网络中[18,19].
空洞卷积在卷积层中引入扩张率(dilationrate)参数,记为r,该参数定义了卷积核处理数据时各值的间距[20],相比于同等n*n的卷积核,其第i层卷积层的感受野计算方式如式(1)所示,即在原卷积和的基础上增加(ri-1)2个空洞.
一般地,若待处理输入图像为I,卷积的滑动步长为s,p为不同方式卷积填充的像素数目,则输入的特征图o计算公式如式(2)所示.
将式(1)代入式(2)可得第i卷积层的特征图算法如式(3)所示.
图1给出空洞卷积核与普通卷积核方式对比.
r2i=[n+(n-1)*(ri-1)]2(1)o=I-n*n+2ps」+1(2)o=I-[n+(n-1)*(ri-1)]2+2ps」+1(3)12基于空洞卷积的多尺度卷积神经网络模型随着卷积神经网络的发展,其网络结构随着卷积层数的增加,特征图会随着卷积计算而不断减少,一方面层数增加带来了更大的计算量,另一方面所提取的特征存在特征表达能力不足、缺少图像细节特征及损失部分关键特征信息等缺陷,因此需要构建合理的卷积神经网络以减少其计算缺陷.
本文网络结构以16层的VGG网络作为基础网络框架,其网络结构如图2所示.
就网络卷积过程而言,整个卷积网络由13个卷积层及空洞块构成,为了不改变卷积核大小,在网络计算结束时保证输出为7*7的特征图,本文设计的空洞块由扩张系数为4和2的卷积核且大小为3*3的卷积层串联形成.
经过网络计算,通过空洞块后特征图像素点的感受野大小相比普通的3*3卷积核感受野扩大了5倍.
本文定义训练数据X包含k个训练样本x,并将其分为七类表情,即生气、厌恶、恐惧、幸福、悲伤、惊讶和自然,通过softmax分类器将神经网络输出归一到(0,1)的概率分布上,则第i个样本的概率如式(4)所示,完成目标多分类任务.
p(xi)=softmax(xi)=ei∑kn=1en(4)为了方便衡量样本x真实分布p与模型预测分布q间的关系,采用相对熵(KL散度)[21]来衡量两种分布间差异,如式(5)所示.
由于在评估计算过程中,真实分布p的熵-H(p(x))保持不变,所以只需要计算交叉熵,如式(6)所示.
本文增加不同类别权重weight控制正负样本平衡并计算loss值,如式(7)所示,通过减少易分类样本的权重,使模型更倾向于学习困难样本特征.
KL(p‖q)=∑7i=1p(xi)log(p(xi))-∑7i=1p(xi)log(q(xi))(5)KL(p‖q)=-H(p(x))+[-∑7i=1p(xi)log(q(xi))]H(p,q)=-∑7i=1p(xi)log(q(xi{))(6)CEloss=weighti[-∑7i=1p(xi)log(q(xi))](7)本文所采用的onestage方法常常准确率相比于twostage方法较低,其主要原因是由于训练样本的类别不均衡,onestage方法中没有诸如RPN相似的网络来自动删除负样本,导致网络训练时负样本数量占比较高,网络无法获取到有效特征信息,而focalloss[22]可以很好地解决onestage中正负样本比例严重失衡的问题.
focalloss在交叉熵式(6)的基础上增加参数γ与平衡权重因子α,与式(7)中weight作用相同,如式(8)所示,从而避免由于缺失proposal带来的loss干扰,同时可提升困难样本训练程度,提高模型整体鲁棒性.
FLloss=αi[-(1-p(xi))]γ*CEloss(8)2CNN人脸自动校正微表情识别方法基于空洞卷积CNN构建微表情识别算法,结合长视频人脸面部检测、人脸自动校正、CNN微表情特征分析和类softmax分类算法完成微表情实时分析任务.
微表情实时分析系统流程如图3所示.
21多任务卷积神经网络模型人脸识别方法本文通过多任务卷积神经网络(MTCNN)[23]实现人脸检测,代替传统Dlib中的CNN面部检测器[24].
Dlib的CNN面部检测器是基于最大边距对象检测器MMOD,虽然训练过程简单且适用于多种面部方向的检测,但是对面部在图像中所占比例要求较高,并且基于Dlib的方法仅能检测到大小达70*70的人脸,在多数检测情况下无法预知面部大小,因此利用MTCNN进行多尺度检测以提高检测精度及效率.
MTCNN通过CNN模型级联实现多任务学习,其学习过程共包含三个阶段即三种网络结构,其网络整体结构如图4所示,其中PNet作为第一阶段网络,通过一个浅层的CNN快速获得人脸区域窗口即边界回归,在结果校正的基础上使用非最·8773·计算机应用研究第37卷大压制方法合并窗口;第二阶段通过一个能力更强的CNN过滤掉绝大部分非人脸候选窗口,同样使用非最大压制方法合并窗口,此阶段网络称为RNet;第三阶段在阶段二网络的结果基础上输出人脸面部五个标记点.
本文通过MTCNN快速识别实时视频中的人脸图像,其人脸识别算法如算法1所示.
算法1MTCNN人脸识别算法输入:多帧连续人脸视频图像.
输出:展示候选框的人脸视频图像.
1摄像头实时检测,传输图像//获取视频帧图像2转换RGB图像,获取图像参数//高度h,宽度w3定义模型参数/最小人脸尺寸,三个阶段的临界值,模型比例因数/4计算BB回归/计算BB回归损失值,若值小于1则未检测到人脸,反之计算人脸所在位置坐标/5显示人脸推荐窗口,依据步骤4的坐标信息进行图像切割MTCNN模型在人脸二元分类预判的基础上确定视频人脸候选窗口,在模型训练过程中采用交叉熵损失,记p为样本图像x是人脸的概率大小,ydet∈{0,1}表示训练图像标注标签,0表示为非人脸图像,1表示是人脸图像,则交叉熵损失函数如式(9)所示.
Ldet=-(ydetlog(p)+(1-ydet)(1-log(p)))(9)BB=min(‖^ybox-ybox‖22)(10)针对训练中的每一个样本x,记y为推荐窗口,其表示为包含左上角横坐标、左上角纵坐标、高度及宽度四个参数的四元组,则^ybox为回归窗口,即预测窗口,ybox为标注窗口,即人脸所在真实区域,如式(10)所示,通过欧氏距离计算BB回归损失值.
22人脸自动矫正本文在训练微表情分类器以及人脸检测模型的过程中均使用姿态端正且归一化的人脸表情图像.
由于摄像头实时采集的人脸图像存在多尺度、姿态角度多样等问题,导致训练好的模型运用到实际识别过程中,其识别精度较训练时降低明显,所以本文在MTCNN识别人脸的基础上,增加人脸自动矫正模块,其算法如算法2所示,通过矫正及裁剪人脸图像,使之更贴合微表情分类器所需图像,在尽可能不增加时间复杂度的基础上提升实际使用过程中微表情分类的准确度.
算法2人脸自动校正算法输入:已完成人脸识别的视频帧图像.
输出:自动校准裁剪完成的人脸图像.
1获取MTCNN人脸标记点坐标及推荐框坐标2计算两眼之间的直线距离及水平夹角角度3依据夹角读书顺时针完成图像旋转4依据夹角完成推荐框坐标变换5依据步骤4坐标完成人脸图像裁剪依据MTCNN的人脸标记点,其识别输出结果包含左右眼、鼻子和左右嘴角标记点,共计五个,本文利用左右眼坐标,分别记为左眼e1(x1,y1)和右眼e2(x2,y2),则人脸水平夹角及人眼距离计算方式如式(11)所示;依据人脸眼距中点完成旋转,记中点坐标为(x0,y0),则旋转后的坐标计算见式(12).
θ=arctan[(y2-y1)/(x2-x1)]dist=(y2-y1)2+(x2-x1)槡{2(11)x′=(x-x0)cosθ+(y-y0)(-sinθ)+x0y′=(x-x0)sinθ+(y-y0)cosθ+y{0(12)3实验为了验证本文算法的有效性,构建实时人脸微表情识别系统,完成人脸识别及微表情分类工作,本文以CASME数据集[25]及CASMEⅡ数据集[26]作为微表情分类模型训练数据,由于数据库中不同类别数据分布不均衡,本文在数据库同类表情中,按照被采集人员不同,将其中一名采集人员的数据作为测试集,将其余数据作为训练集完成实验.
本文实验在IntelXeon2.
10GHzCPU,32GB内存,Ubuntu14.
04系统搭建Pytorch平台环境下进行.
实验环境的配置参数如表1所示.
表1实验环境的配置参数Tab.
1Configurationparametersfortheexperimentalenvironment参数名称版本或数值参数名称版本或数值操作系统Ubuntu14.
04CUDACUDA8.
0CPUIntelXeon2.
10GHzPytorchPytorch0.
4.
1GPUGeForceGTX1080/8GBH5pyH5py2.
9.
0RAM32GB/DDR3/2.
10GHzSklearnSklearn0.
2131微表情实验数据由于视频转换为图像会出现视频帧数不准确的问题,本文所用微表情数据库基于图像完成编码,通过自发诱导方式获得人脸微表情数据,并包括情绪种类标记以及FACS标注[27],能很好地改善该问题.
但是CASMEⅡ作为CASME的补充在图像打标、采集帧率以及微表情详细分类上略有不同,因此本文对已有打标数据进行整理归类,且本文仅使用四类标签,包括微表情序列的第一帧图像OnsetFrame、顶点帧图像ApexFrame、最后一帧图像OffsetFrame以及情感分类estimatedemotion,具体表情分类及样本数量如表2所示.
表2微表情数据库数据归类参照Tab.
2Datacategorizationreferenceformicroexpressiondatabase情感分类样本数帧图像数CASMECASMEⅡ原数据库标注生气angry167812160repression厌恶disgust227824141disgust恐惧fear460125fear幸福happy202632328happiness悲伤sad8120267sadness惊讶surprise213961580surprise自然neutral4215526263others32算法准确度与算法对比本文设计空洞块来增加特征提取感受野,为了满足本文分类标准及VGG网络特征计算方式,如式(3)所示,从表3可以看出,通过增加空洞块可以明显提升卷积特征表达,提高模型识别准确率.
可以看出空洞卷积存在模型训练时间消耗,在保证准确率情况下通过两层空洞卷积的卷积块更占优势,虽然三层空洞卷积能提高模型准确度,但是明显提升了模型训练时间.
表3空洞卷积块设定及模型准确率Tab.
3Voidconvolutionblocksettingandmodelaccuracy空洞块卷积层数模型平均准确率与无空洞块运算时间差空洞块卷积层数模型平均准确率与无空洞块运算时间差无068.
17042273.
120.
65s/张53272.
820.
55s/张432373.
520.
95s/张·9773·第12期赖振意,等:结合空洞卷积的CNN实时微表情识别算法本文通过混淆矩阵(confusionmatrix)对微表情分类模型准确性进行评估,从整体分类情况看准确率达73%,从图5的混淆矩阵可以看出模型对人脸高兴表情敏感度最高,准确率为90%,其主要原因是由于产生幸福表情时人脸肌肉动向较为明显,且训练样本较多,属于简单样本学习;与此相对应自然表情的识别准确率仅有69%,虽然训练样本总体占比最高,但是表情与正常刚性人脸相似,肌肉变化率极低,因此准确率较低;同时可以看出恐惧表情分类准确率还不足50%,主要原因是由于样本数量过少,即使使用focalloss控制样本平衡,恐惧表情与惊讶表情的区分度仍然较低,从惊讶表情的错误率也可以看出,模型误判惊讶为恐惧高达8%.
本文实验结果如表4所示,综合列出了近三年较为流行的普通特征方法及深度学习方法,与其他前沿方法相比,本文提出的基于空洞卷积的CNN微表情识别方法获得了较高的准确率,onestage模型作为一种卷积神经网络方法,整合了人脸表情检测与特征自动提取分类,省去了人工寻找特征的步骤,也提高了识别准确率.
在模型实时应用方面,表5列出在一段时间内模型分类结果及时长消耗,可以看出基于MTCNN的人脸微表情分类方法,单帧图像识别时间浮动在250~290ms,视频分析帧率维持在60fps.
表4不同微表情模型方法准确率对比Tab.
4Accuracycomparisonofdifferentmicroexpressionmethods表情方法分类数目CASME准确率/%CASMEⅡ准确率/%EVM[28]470.
2766.
21MMFL[29]558.
2760.
81DTSCNN[30]457.
2666.
67BiWOOF[31]557.
2060.
26acCNN(本文)770.
1672.
26表5acCNN模型实时性展示Tab.
5RealtimedemonstrationofacCNNmodel部分识别结果用时消耗/sPNetRNetONethappy0.
2540.
1920.
0500.
011neutral0.
2540.
1950.
0520.
007neutral0.
2900.
2240.
0510.
015happy0.
2520.
1980.
0430.
011sad0.
2580.
2040.
0430.
011除了在本文汇总整合的数据库验证模型分类准确性,本文分别针对原始的CASME及CASMEⅡ进行人脸微表情分类测试,其准确率如表4所示.
可以看出,在CASMEⅡ上本文提出的模型具备较好的准率率,但在CASME中相比EVM准确率较低,主要原因是由于CASME样本过少,利用focalloss控制样本平衡,EVM相比本文所提模型拟合程度更高,所以EVM在CASMEⅡ中的鲁棒性较低.
4结束语本文基于空洞卷积神经网络,在MTCNN和VGG16网络的基础上完成人脸微表情的自动获取与识别功能.
通过空洞卷积有效提升网络感受野,避免图像边缘特征及细微特征在卷积过程中丢失,提出感受野更大、识别准确度更高的人脸微表情识别算法具有较高的鲁棒性,同时结合人脸表情自动识别,形成一套从人脸检测与发现到微表情分类的整体框架,利用相似网络结构从一定程度上避免了人工筛选.
下一步研究工作将提升模型训练收敛速度,引入残差块等技术提升模型性能;对比更多不同的扩张系数组合来优化网络结构.
尝试将传统光流与更深的网络相结合,找到更为有效的微表情特征表达,增加反馈网络结构提升网络鲁棒性,并用于人脸其他表情种类或模式识别场景中.
参考文献:[1]YanWenjing,WuQi,LiangJing,etal.
Howfastaretheleakedfacialexpressions:thedurationofmicroexpressions[J].
JournalofNonverbalBehavior,2013,37(4):217230.
[2]徐峰,张军平.
人脸微表情识别综述[J].
自动化学报,2017,43(3):333348.
(XuFeng,ZhangJunping.
Overviewoffacemicroexpressionrecognition[J].
JournalofAutomation,2017,43(3):333348.
)[3]贲烨,杨明强,张鹏,等.
微表情自动识别综述[J].
计算机辅助设计与图形学学报,2014,26(9):13851395.
(BenXianye,YangMingqiang,ZhangPeng,etal.
Surveyonautomaticmicroexpressionrecognitionmethods[J].
JournalofComputerAidedDesignandComputerGraphics,2014,26(9):13851395.
)[4]LuZhaoyu,LuoZiqi,ZhengHuicheng,etal.
Adelaunaybasedtemporalcodingmodelformicroexpressionrecognition[C]//ProcofAsianConferenceonComputerVision.
Berlin:Springer,2014.
[5]ZhangPeng,BenXianye,YanRui,etal.
Microexpressionrecognitionsystem[J].
Optik—InternationalJournalforLightandElectronOptics,2016,127(3):13951400.
[6]WangSujing,YanWenjing,SunTingkai,etal.
Sparsetensorcanonicalcorrelationanalysisformicroexpressionrecognition[J].
Neurocomputing,2016,214:218232.
[7]PfisterT,LiXiaobai,ZhaoGuoying,etal.
Recognisingspontaneousfacialmicroexpressions[C]//ProcofIEEEInternationalConferenceonComputerVision.
Piscataway,NJ:IEEEPress,2011.
[8]BenXianye,JiaXitong,YanRui,etal.
Learningeffectivebinarydescriptorsformicroexpressionrecognitiontransferredbymacroinformation[J].
PatternRecognitionLetters,2018,107(7):5058.
[9]SuWenchao,WangYanyan,SuFei,etal.
Microexpressionrecognitionbasedonthespatiotemporalfeature[C]//ProcofIEEEInternationalConferenceonMultimedia&ExpoWorkshops.
Piscataway,NJ:IEEEPress,2018.
[10]XuFeng,ZhangJumping,WangJZ.
Microexpressionidentificationandcategorizationusingafacialdynamicsmap[J].
IEEETransonAffectiveComputing,2017,8(2):254267.
[11]WangSujing,YanWenjing,ZhaoGuoying,etal.
Microexpressionrecognitionusingrobustprincipalcomponentanalysisandlocalspatiotemporaldirectionalfeatures[M]//ProcofEuropeanConferenceonComputerVision.
2014.
[12]LiQiuyu,YuJun,Kurihara,etal.
Microexpressionanalysisbyfusingdeepconvolutionalneuralnetworkandopticalflow[C]//Procofthe5thIEEEInternationalConferenceonControl,DecisionandInformationTechnologies.
Piscataway,NJ:IEEEPress,2018:265270.
[13]BenXianye,ZhangPeng,YanRui,etal.
Gaitrecognitionandmicroexpressionrecognitionbasedonmaximummarginprojectionwithtensorrepresentation[J].
NeuralComputingandApplications,2016,27(8):26292646.
[14]WangSujing,LiBingjun,LiuYongjin,etal.
Microexpressionrecognitionwithsmallsamplesizebytransferringlongtermconvolutionalneuralnetwork[J].
Neurocomputing,2018,312(10):251262.
[15]TakalkarMA,MinXu.
Imagebasedfacialmicroexpressionrecognitionusingdeeplearningonsmalldatasets[C]//ProcofInternationalConferenceonDigitalImageComputing:TechniquesandApplications.
Piscataway,NJ:IEEEPress,2017.
[16]RedmonJ,FarhadiA.
YOLOv3:anincrementalimprovement[EB/OL].
(20180408).
https://arxiv.
org/abs/1804.
02767.
(下转第3835页)·0873·计算机应用研究第37卷[23]WangXiaolong,GirshickR,GuptaA,etal.
Nonlocalneuralnetworks[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.
WashingtonDC:IEEEComputerSociety,2018:77947803.
[24]MallatSG.
Atheoryformultiresolutionsignaldecomposition:thewaveletrepresentation[J].
IEEETransonPatternAnalysis&MachineIntelligence,1989,11(7):674693.
[25]LiuZiwei,LuoPing,WangXiaogang,etal.
Deeplearningfaceattributesinthewild[C]//ProcofIEEEInternationalConferenceonComputerVision.
WashingtonDC:IEEEComputerSociety,2015:37303738.
[26]LimB,SonS,KimH,etal.
Enhanceddeepresidualnetworksforsingleimagesuperresolution[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.
WashingtonDC:IEEEComputerSociety,2017:136144.
[27]ZhangYulun,LiKunpeng,LiKai,etal.
Imagesuperresolutionusingverydeepresidualchannelattentionnetworks[C]//Procofthe15thEuropeanConferenceonComputerVision.
Cham:Springer,2018:286301.
[28]RonnebergerO,FischerP,BroxT.
UNet:convolutionalnetworksforbiomedicalimagesegmentation[C]//Procofthe18thInternationalConferenceonMedicalImageComputingandComputerassistedIntervention.
Cham:Springer,2015:234241.
[29]LuChaochao,TangXiaoou.
SurpassinghumanlevelfaceverificationperformanceonLFWwithGaussianface[C]//Procofthe29thAAAIConferenceonArtificialIntelligence.
PaloAlto,CA:AAAIPress,2015:38113819[30]SzegedyC,LiuWei,JiaYangqing,etal.
Goingdeeperwithconvolutions[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.
WashingtonDC:IEEEComputerSociety,2015:19.
[31]BuadesA,CollB,MorelJM.
Anonlocalalgorithmforimagedenoising[C]//ProcofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.
WashingtonDC:IEEEComputerSociety,2005:6065.
[32]DongChao,LoyCC,TangXiaoou.
Acceleratingthesuperresolutionconvolutionalneuralnetwork[C]//Procofthe14thEuropeanConferenceonComputerVision.
Cham:Springer,2016:391407.
[33]CaballeroJ,LedigC,AitkenA,etal.
Realtimevideosuperresolutionwithspatiotemporalnetworksandmotioncompensation[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.
WashingtonDC:IEEEComputerSociety,2017:47784787.
[34]LedigC,TheisL,HuszárF,etal.
Photorealisticsingleimagesuperresolutionusingagenerativeadversarialnetwork[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.
WashingtonDC:IEEEComputerSociety,2017:46814690.
[35]HuangGao,LiuZhuang,VanderMaatenL,etal.
Denselyconnectedconvolutionalnetworks[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.
WashingtonDC:IEEEComputerSociety,2017:47004708.
[36]TongTong,LiGen,LiuXiejie,etal.
Imagesuperresolutionusingdenseskipconnections[C]//ProcofIEEEInternationalConferenceonComputerVision.
WashingtonDC:IEEEComputerSociety,2017:47994807.
[37]YuXin,PorikliF.
Ultraresolvingfaceimagesbydiscriminativegenerativenetworks[C]//Procofthe14thEuropeanConferenceonComputerVision.
Cham:Springer,2016:318333.
[38]ZhangYulun,TianYapeng,KongYu,etal.
Residualdensenetworkforimagesuperresolution[C]//ProcofIEEE/CVFConferenceonComputerVisionandPatternRecognition.
WashingtonDC:IEEEComputerSociety,2018:24722481.
[39]DahlR,NorouziM,ShlensJ.
Pixelrecursivesuperresolution[C]//ProcofIEEEInternationalConferenceonComputerVision.
WashingtonDC:IEEEComputerSociety,2017:54395448.
[40]IsolaP,ZhuJunyan,ZhouTinghui,etal.
Imagetoimagetranslationwithconditionaladversarialnetworks[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.
WashingtonDC:IEEEComputerSociety,2017:11251134.
[41]ZhaoHang,GalloO,FrosioI,etal.
Lossfunctionsforimagerestorationwithneuralnetworks[J].
IEEETransonComputationalImaging,2016,3(1):4757.
(上接第3780页)[17]Agrawal,Abhinav,Mittal,Namita.
UsingCNNforfacialexpressionrecognition:astudyoftheeffectsofkernelsizeandnumberoffiltersonaccuracy[J].
TheVisualComputer,2020,36(2):405412.
[18]LongJ,ShelhamerE,DarrellT.
Fullyconvolutionalnetworksforsemanticsegmentation[C]//ProcofIEEEConferenceonComputerVisionandPatternRecognition.
Piscataway,NJ:IEEEPress,2015:34313440.
[19]曲长波,姜思瑶,吴德阳.
空洞卷积的多尺度语义分割网络[J].
计算机工程与应用,2019,55(24):9195.
(QuChangbo,JiangSiyao,WuDeyang.
Voidconvolutionmultiscalesemanticsegmentationnetwork[J].
ComputerEngineeringandApplication,2019,55(24):9195.
)[20]张焯林,赵建伟,曹飞龙.
构建带空洞卷积的深度神经网络重建高分辨率图像[J].
模式识别与人工智能,2019,32(3):259267.
(ZhangZhuolin,ZhaoJianwei,CaoFeilong.
Constructingdeepneuralnetworkwithvoidconvolutiontoreconstructhighresolutionimage[J].
PatternRecognitionandArtificialIntelligence,2019,32(3):259267.
)[21]罗会兰,万成涛,孔繁胜.
基于KL散度及多尺度融合的显著性区域检测算法[J].
电子与信息学报,2016,38(7):15941601.
(LuoHuilan,WanChengtao,KongFansheng.
AsalientregiondetectionalgorithmbasedonKLdivergenceandmultiscalefusion[J].
JournalofElectronicsandInformation,2016,38(7):15941601.
)[22]LinTsungYi,GoyalP,GirshickR,etal.
Focallossfordenseobjectdetection[J].
IEEETransonPatternAnalysis&MachineIntelligence,2020,42(2):318327.
[23]XiangJia,ZhuGengming.
JointfacedetectionandfacialexpressionrecognitionwithMTCNN[C]//ProcofInternationalConferenceonInformationScience&ControlEngineering.
WashingtonDC:IEEEComputerSociety,2017:424427.
[24]SharmaS,ShanmugasundaramK,RamasamySK.
FAREC—CNNbasedefficientfacerecognitiontechniqueusingDlib[C]//ProcofInternationalConferenceonAdvancedCommunicationControl&ComputingTechnologies.
2017.
[25]YanWenjing,WuQi,LiuYongjin,etal.
CASMEdatabase:adatasetofspontaneousmicroexpressionscollectedfromneutralizedfaces[C]//ProcofIEEEInternationalConference&WorkshopsonAutomaticFace&GestureRecognition.
Piscataway,NJ:IEEEPress,2013.
[26]YanWenjing,LiXiaobai,WangSujing,etal.
CASMEⅡ:animprovedspontaneousmicroexpressiondatabaseandthebaselineevaluation[J].
PLoSOne,2014,9(1):e86041.
[27]EkmanP,Rosenberg,ErikaL.
Whatthefacerevealsbasicandappliedstudiesofspontaneousexpressionusingthefacialactioncodingsystem(FACS)||Isthestartlereactionanemotion[M].
[S.
l.
]:OxfordUniversityPress,2005.
[28]LiXiaobai,HongXiaopeng,MoilanenA,etal.
Readinghiddenemotions:spontaneousmicroexpressionspottingandrecognition[EB/OL].
20170220.
https://arxiv.
org/abs/1511.
00423.
[29]HeJiachi,HuJianfang,LuXi,etal.
Multitaskmidlevelfeaturelearningformicroexpressionrecognition[J].
PatternRecognition,2017,66(6):4452.
[30]PengMin,WangChongyang,ChenTong,etal.
Dualtemporalscaleconvolutionalneuralnetworkformicroexpressionrecognition[J].
FrontiersinPsychology,2017,8(10):1745.
[31]LiongST,SeeJ,WongK,etal.
Lessismore:microexpressionrecognitionfromvideousingapexframe[J].
SignalProcessing:ImageCommunication,2018,62(3):8292.
·5383·第12期刘颖,等:学习小波超分辨率系数的人脸超分算法