卷积googlepr值

Opto-ElectronicEngineering光电工程Article2019年,第46卷,第4期180307-1DOI:10.
12086/oee.
2019.
180307面向军事目标识别的DRFCN深度网络设计及实现刘俊1*,孟伟秀1,余杰2,李亚辉1,孙乔11杭州电子科技大学通信信息传输与融合技术国防重点学科实验室,浙江杭州310018;2中国船舶重工集团公司第七一五研究院,浙江杭州310023摘要:自动目标识别(ATR)技术一直是军事领域中急需解决的重点和难点.
本文设计并实现了一种新的面向军事目标识别应用的DRFCN深度网络.
首先,在DRPN部分通过卷积模块稠密连接的方式,复用深度网络模型中每一层的特征,实现高质量的目标采样区域的提取;其次,在DFCN部分通过融合高低层次特征图语义特征信息,实现采样区域目标类别和位置信息的预测;最后,给出了DRFCN深度网络模型结构以及参数训练方法.
与此同时,进一步对DRFCN算法开展了实验分析与讨论:1)基于PASCALVOC数据集进行对比实验,结果表明,由于采用卷积模块稠密连接的方法,在目标识别平均准确率、实时性和深度网络模型大小方面,DRFCN算法均明显优于已有基于深度学习的目标识别算法;同时,验证了DRFCN算法可以有效解决梯度弥散和梯度膨胀问题.
2)利用自建军事目标数据集进行实验,结果表明,DRFCN算法在准确率和实时性上满足军事目标识别任务.
关键词:深度学习;目标识别;PASCALVOC数据集;军事目标中图分类号:TP391.
41;TB872文献标志码:A引用格式:刘俊,孟伟秀,余杰,等.
面向军事目标识别的DRFCN深度网络设计及实现[J].
光电工程,2019,46(4):180307DesignandimplementationofDRFCNin-depthnetworkformilitarytargetidentificationLiuJun1*,MengWeixiu1,YuJie2,LiYahui1,SunQiao11FundamentalScienceonCommunicationInformationTransmissionandFusionTechnologyLaboratory,HangzhouDianziUniversity,Hangzhou,Zhejiang310018,China;2ChinaShipbuildingIndustryCorporation715ResearchInstitute,Hangzhou,Zhejiang310023,ChinaAbstract:Automatictargetrecognition(ATR)technologyhasalwaysbeenthekeyanddifficultpointinthemilitaryfield.
ThispaperdesignsandimplementsanewDRFCNin-depthnetworkformilitarytargetidentification.
Firstly,thepartofDRPNisdenselyconnectedbytheconvolutionmoduletoreusethefeaturesofeachlayerinthedeepnet-workmodeltoextractthehighqualitygoalsofsamplingarea;Secondly,intheDFCNpart,wefusetheinformationofthesemanticfeaturesofthehighandlowlevelfeaturemapstorealizethepredictionoftargetareaandlocationin-formationinthesamplingarea;Finally,thedeepnetworkmodelstructureandtheparametertrainingmethodofDRFCNaregiven.
Further,weconductexperimentalanalysisanddiscussionontheDRFCNalgorithm:1)Basedon战斗机直升机直升机直升机直升机收稿日期:2018-06-04;收到修改稿日期:2018-08-07基金项目:海军装备预研创新项目;国家自然科学基金重点项目(61333009,61427808)作者简介:刘俊(1971-),男,博士,教授,主要从事信息融合、模式识别与智能系统、计算机视觉的研究.
E-mail:gutlj@163.
com光电工程DOI:10.
12086/oee.
2019.
180307180307-2thePASCALVOCdatasetforcomparisonexperiments,theresultsshowthatDRFCNalgorithmisobviouslysuperiortotheexistingalgorithmintermsofaverageaccuracy,real-timeandmodelsizebecauseoftheconvolutionmoduledenseconnectionmethod.
Atthesametime,itisverifiedthattheDRFCNalgorithmcaneffectivelysolvetheproblemofgradientdispersionandgradientexpansion.
2)Usingtheself-builtmilitarytargetdatasetforexperiments,there-sultsshowthattheDRFCNalgorithmimplementsthemilitarytargetrecognitiontaskintermsofaccuracyandreal-time.
Keywords:deeplearning;targetrecognition;PASCALVOCdataset;militarytargetCitation:LiuJ,MengWX,YuJ,etal.
DesignandimplementationofDRFCNin-depthnetworkformilitarytargetidentification[J].
Opto-ElectronicEngineering,2019,46(4):1803071引言自动目标识别(Automatictargetrecognition,ATR)技术一直是军事应用领域中急需解决的重点和难点,其中光电探测是现代预警探测情报网中的关键探测途径之一.
在实际作战中,通过部署在不同武器装备平台上的光电设备,可以获得海量图像、视频数据,如何在这些采集的数据中实现快速、精准的军事目标识别,提高作战系统的军事目标识别能力,具有十分重要的意义.
得益于大数据、云计算和人工智能技术的发展,尤其是以深度学习算法为基础的智能目标识别技术的进步,利用机器智能对军事目标进行识别,越来越受到各国学术界和应用部门的高度重视.
从20世纪50年代开始,美国率先开展了基于图像的军事目标识别技术研究工作.
从国外军事目标识别研究的技术路线及发展历史来看,目标识别的技术路线及发展历史可大致划分为六个阶段:经典的统计模式识别方法[1]→基于知识的自动目标识别方法[2]→基于模型的自动目标识别方法[3]→基于多传感器信息融合的自动目标识别方法[4]→基于人工神经网络和专家系统混合应用的自动目标识别方法[5]→基于人工智能和深度学习的自动目标识别方法[6].
其中,基于前5个发展阶段的技术路线,其实现的军事目标识别技术水平一般难以实现超越人的识别水平.
对于最后一个发展阶段,即基于人工智能和深度学习的自动目标识别方法,近十年来,由于超大规模集成电路、超高速集成电路、神经网络、量子计算机技术、多传感器集成技术、人工智能技术、深度学习、大数据技术等的快速发展,国外军事目标识别研究已由理论探索、实验室仿真逐渐走向实际应用.
我国基于深度学习的军事目标识别研究主要处于理论探索和实验室仿真阶段,有待逐渐突破并走向实际应用.
在理论研究方面,基于深度学习的目标识别算法大致可以分为三类方法:1)基于区域采样、目标分类、目标位置修正的方法,可称为基于区域采样的深度卷积目标识别算法,该类方法的优点是识别准确率高,缺点是算法模型庞大,训练耗时长,很多高准确率的算法模型需要多GPU的联合训练,算法识别速度慢,对硬件要求高,如全卷积目标识别(region-basedfullyconvolutionalnetworks,RFCN)[7]算法模型;2)基于回归的深度卷积目标识别算法,该类方法的优点是目标识别速度快,但识别准确率总体低于基于区域采样策略的目标识别方法,如YOLO(youonlylookonce)算法模型[8];3)前两类方法的组合方法,典型代表是SSD(singleshotMultiBoxdetector)算法模型[9].
ALEXNet[6]验证了基于CNN(convolutional-neural-networks)的深度学习方法能够大幅度提升分类的准确率.
2012年Cirshick在ALEXNet基础上进一步提出R-CNN(regionswithCNNfeatures)[10]方法,第一次实现基于CNN方法的自动目标识别,但其缺点是由于采用分段级联模型不能共享计算;特征向量需要海量存储空间,存在时空冗余;输入图片需固定尺寸.
进一步文献[11]提出SPP(spatialpyramidpooling)算法,在模型底层采用空间金子塔池化方式[12]将不同大小的特征图聚合归一化到特定维度,在特征图上获取采样区域的方法共享了卷积层的计算量,大幅提高网络的训练和测试速度,然而由于分类和坐标回归需要两个代价函数,不能实现端到端的训练和测试.
随后,Cirshick在SPP算法的基础上提出了FastR-CNN(fastregionswithCNNfeatures)算法模型[13],采用联合代价函数实现了端到端的训练与测试,并且特征不需要额外存储空间,但是区域采样步骤耗费的时间,相比检测算法也要高出一个数量级.
文献[14]针对上述问题,提出一种全卷积区域采样算法RPN(regionproposalnet-work)[15]的CNN网络,能够快速产生高质量采样区域.
通过适当堆叠深度学习算法卷积模块可以提高网光电工程DOI:10.
12086/oee.
2019.
180307180307-3络的学习能力,提升网络性能[16],但在算法训练过程中将面临梯度弥散和梯度膨胀[17]的问题,过多堆叠卷积模块反而造成准确率下降.
为解决此类问题,提出了残差网络ResNet[18]和HighwayNetwroks[19]等,采用岔路连接的策略解决了卷积模块堆叠过多而难以训练的问题.
基于残差结构的目标识别算法模型RFCN仍然保持着2017年PASCALVOC数据集中最高的目标识别准确率,但该算法每一层学习到的特征相互独立,没有共享特征信息.
那么,有没有一种算法能突破这种单向连接的建模方式在ILSVRC2017的比赛中,由Facebook人工智能团队提出的DenseNet[20]分类算法通过共享每一层特征图的方式,获得了ILSVRC2017最高的目标分类准确率.
DenseNet通过特征重用而不是拓展算法模型深度[21]抑或是拓展算法宽度(如GoogLeNet[22])或变体的ResNet[23]来提高算法性能,DenseNet在分类准确率和模型大小上存在很大的优势.
因此,本文拟通过卷积模块稠密连接的方式,各个卷积模块都和上层的所有卷积模块稠密连接,复用深度网络模型中每一层的特征,底层的卷积模块学习到了上面所有卷积模块的特征,必将提高深度网络模型的特征表达能力,不仅提高识别平均准确率和减小深度网络模型,而且有效解决梯度弥散、梯度膨胀问题.
本文将此模型应用在军事目标识别上在准确率、实时性等方面都取得了比较好的识别效果.
2面向军事目标识别应用的DRFCN深度网络模型设计面向军事目标识别应用的DRFCN深度网络模型总体结构图如图1所示,主要包括:1)基于稠密卷积神经网络的区域采样算法(denseconnectedregionproposalnetwork,DRPN);2)基于稠密卷积神经网络的快速区域分类算法(denseconnectedfastclassificationnetwork,DFCN);3)DRFCN算法模型结构;4)RFCN参数训练方法等.
2.
1基于稠密卷积神经网络的区域采样算法(DRPN)基于稠密卷积神经网络的DRPN算法模型结构如图2所示,该模块主要完成采样区域的提取任务,通过将采样区域进行前景和背景类别的预测.
该部分的类别预测输出仅为0或者1,其中1表示前景(包含目标),0表示背景(不包含目标).
1)采样区域获取:输入通道的特征图片经过稠密卷积网络层变换后,生成了多个W*H大小的特征图,特征图的每一个像素(神经元)具有很宽泛的感受野,对于一个W*H的特征图将产生W*H*k个锚点框(k为样本的数量),这些采样区域包含了大量的前景区域(包含目标)和背景区域(不包含目标),在W*H*k个样本中利用交并比(intersectionoverunion,IoU)指标对产生的采样区域进行筛选,使得锚点框正负样本比例数量维持在3:1左右.
正样本:对于任意一个锚点框,它和前景区域有最大的重叠区域,或者它和前景区域有大于70%的重叠区域;负样本:对于任意一个锚点框,它满足不是正样本的前提下,并且和所有前景区域有低于30%的重叠区域;剩下的既不是正样本也不是负样本,不参与最终训练.
2)联合代价函数:为了实现目标采样的提取任务,在此采用联合代价函数训练DRPN.
通过分别设定分类和区域采样算法的代价函数,利用边框回归与逻辑回归算法计算采样区域的类别损失LOSS和位置损失LOSS,设计如式(1)所示的联合代价函数:图1DRFCN深度网络模型总体结构框图Fig.
1GeneralstructurediagramofDRFCNdepthnetworkmodel红外图片可见光图片DRPN网络DFCN网络RPNConvConvDenseblock采样区域ROIpooling全连接层坐标回归修正分类(士兵,坦克,…)光电工程DOI:10.
12086/oee.
2019.
180307180307-4*clscls1iiiiiLptLppN=∑**regreg1(,)iiiiλpLttN+∑,(1)其中:clsL和regL分别表示分类前景区域(包含目标)和背景区域(不包含目标)和锚点框回归的代价函数,*cls(,)iiLpp中ip表示预测的锚点框置信得分,如果一个锚点框为负样本,*ip为0;如果一个锚点框为正样本,*ip为1.
clsN表示一次训练选取的锚点框数量,regN表示选取锚点框的特征图大小.
2.
2基于稠密卷积神经网络的快速区域分类算法基于稠密卷积神经网络的快速区域分类算法(DFCN)的总体结构图如图3所示.
本文采取了区域池化层(regionofinterestpoolinglayer,ROIpooling)和全连接层组合的方式构建DFCN算法模型.
利用DRPN快速、高效地获得高质量的采样区域后,需要对获得的采样区域进行细分类.
在深度网络中,特征的质量直接决定了目标识别算法的最终准确率.
DFCN算法相较已有深度网络可以实现:1)融合高低层次语义特征信息进行采样区域分类;2)利用特征图信息同时输出了军事目标的类别和位置信息.
基于深度学习的DFCN分类算法主要有以下几个部分:1)特征转换:对于每一层特征图,算法模型需要对特征图做卷积、池化、归一化、线性或非线性转换等操作.
2)采样区域池化层:将不同维度的特征矩阵归一化到相同维度的变换.
3)联合代价函数:DFCN有两个同级的输出:①输出1k+个目标的类别信息,其中k表示类别;②输出每一类的坐标位置.
训练DFCN的联合代价函数如下式:clsloc1](,)uuLputvLpuλuLtv2)式中:cls(,)log()uLpup=是真实类别u概率分布的对数损失.
边框回归的损失locL的定义基于两组参数:类别u输出的边框偏移量xywhvvvvv;类别u的预测边框偏移量uuuuuxywhttttt=.
只有正样本才参与边框回归,通过u对y进行控制.
具体计算式:11100uyuu≥=≥=,(3)λ用来控制分类损失和边框回归损失的正则项值,平衡这两个损失locL和clsL的比重.
图3DFCN的总体结构图Fig.
3GeneralstructurediagramofDFCNDRPN生成的采样区域ROIpooling全连接层坐标回归修正分类(士兵,坦克,…)图2DRPN的总体结构图Fig.
2TheoverallstructurediagramofDRPN………………Denseblock采样区域(p,x,y,w,h)锚点框光电工程DOI:10.
12086/oee.
2019.
180307180307-52.
3DRFCN算法模型结构密集连通区域快速分类网络(Denseconnectedre-gionfastclassificationnetwork,DRFCN)算法主要有以下几个部分,具体模型结构的如表1所示.
1)特征提取基础网络部分:由3个稠密卷积块和多层卷积池化层组成,稠密卷积块由6层卷积层稠密连接而成;2)特征降维部分:在每个稠密卷积块之间分布着卷积池化层,每个稠密卷积块都是级联了上层所有特征图,每一层表现为综合了前面所有层的特征信息,为了避免算法底层权值维度过高带来的内存溢出问题,在每一个稠密卷积块之间添加了卷积池化层降低特征图矩阵的维度;3)分类器和位置坐标回归预测部分:在提取了目标特征信息后,采用DRPN独有的层获得采样区域,采用ROI归一化特征图大小和全连接层加分类器[24]的方式获得目标的置信得分和最终的位置信息.
2.
4DRFCN参数训练方法DRPN算法用于产生高质量的采样区域,DFCN算法用于计算关于采样区域类别信息的离散概率分布和位置坐标.
假如要使得DRPN和DFCN共享稠密卷积层,则DRFCN需要一种训练机制,使得DRPN和DFCN共享权重.
本文实验采样区域生成网络和采样区域分类网络公用共享卷积层的模型训练方法,采用DRPN和DFCN联合分布参数训练,将DRPN和DFCN看做一个统一的整体,在每一次采用批量随机梯度下降算法(mini-batchstochasticgradientdescent,MSGD)的过程中,前向传递阶段用DRPN产生的采样区域直接训练DFCN,反向传递阶段DRPN和DFCN梯度依次反传,多次迭代后直到算法收敛.
大致训练步骤如下:步骤1:使用MSGD算法训练DRPN,稠密连接的卷积模块用超前训练的权重初始化;步骤2:使用步骤1中DRPN产生的采样区域训练DFCN,稠密连接的卷积模块用超前训练的权重初始化;步骤3:使用步骤2中DFCN稠密连接的卷积层初始化DRPN,保持稠密连接部分权重不变,只微调DRPN独有的层,到此为止,DRPN和DFCN已经共享了卷积层;步骤4:保持稠密连接的卷积层块权值不变,使用步骤3中DRPN生成的采样区域训练DFCN,这一步只微调DFCN独有的层;步骤5:算法收敛,训练结束.
3DRFCN方法实验分析及讨论本节中将对DRFCN深度网络开展实验验证和性能测评.
首先,利用PASCALVOC标准数据集,开展DRFCN方法和已有典型深度学习方法的性能对比实验和分析;其次,利用实际作战环境中采集得到的图像、视频资源,仿照PASCALVOC数据集的格式,自建军事目标数据集,并利用该数据集对DRFCN算法开展实验验证及分析.
具体分析如下:3.
1实验环境及数据集1)实验软硬件环境:Caffe框架;CPU:XeonE5-2450@2.
00GHz;内存16G;GPU:TITANX(12G).
2)数据集:①PASCALVOC[25]数据集:VOC2007(9963张已标注的图片)和VOC2012(17125张已标注的图片).
②自建军事目标数据集:包含陆、海、空三个军种的军事目标,具体分为9类:战斗机、坦克、直升飞机、军舰、枪、导弹、加农炮、潜艇、士兵.
数据集中包含了各种分辨率的图片,图片中包含了各个角度的军事目标,不仅如此,数据集中还包含了大量近景、远景军事目标(10000张已标注的图片).
3.
2性能评价指标1)目标识别方法的准确性指标:首先,给出目标识别中精确率P,召回率R的计算式分别为表1DRFCN16目标识别算法模型结构Table1DRFCN16objectrecognitionalgorithmmodelstructureDRFCN层输出尺寸(w*h)DRFCN16卷积250*5007*7卷积,步长2,填充3池化126*2513*3池化,步长2,填充1稠密连接卷积层126*251多层卷积卷积63*265*5卷积,步长2,填充2池化32*643*3池化,步长2,填充1稠密连接卷积层32*64多层卷积卷积32*643*3卷积,步长1,填充1池化32*643*3池化,步长1,填充1稠密连接卷积层32*64多层卷积卷积32*643*3卷积,步长1,填充1ROI7*7ROI池化层FC21连接分类器输出置信度光电工程DOI:10.
12086/oee.
2019.
180307180307-6TPPTPFP=+,(4)TPRTPFN=+,(5)式中:TP表示在一次测试中正确预测的正样本数量,FP表示在一次测试中被错分为正样本的数量,FN表示所有的被错误预测为负样本的正样本数量.
本文采用目前基于深度学习的目标识别方法中广泛使用的平均准确率mAP作为识别准确性指标.
利用11点轴法分别计算某一类别目标的平均准确率AP,如式(6)所示,再计算平均准确率mAP,如式(7)所示,式中:N为目标识别框架的类别总数.
10,0.
1,,1max([])11kPRkAP=>=∑",(6)01NiimAPAPN==∑.
(7)2)目标识别方法的实时性指标:本文采用测试时间和网络模型大小两个指标来评价目标识别方法的实时性指标.
具体如下:①测试时间st:是指算法从任意图像帧数据读入到检测结果输出所需的时间,通常用毫秒(ms)作为其度量单位.
在给定的软硬件条件下,当st取值越小,说明目标识别方法的实时性性能越好.
②网络模型大小pN:是指整个网络可训练参数的大小,其主要包含卷积层参数的数量和全连接层数.
其计算式:pcfα11ijmnijNNNN===++∑∑,(8)式中:m为卷积层数量;n为全连接层数;ciN为第i层卷积层参数量;fjN为第j层全连接层参数量;αN为其他参数.
3.
3实验结果及分析1)DRFCN方法的收敛性实验本文首先在100万张的ImageNet[26]数据集上训练了针对1000个不同类别的分类模型;随后用预训练的分类模型初始化DRFCN基础网络部分和全连接部分,DRPN独有层的权值采用均值为0,方差为0.
01的高斯分布随机初始化;最后对算法模型进行微调.
根据稠密连接的卷积块数量差异,本文训练了两种极深的DRFCN模型,分别命名为DRFCN5、DRFCN16.
DRFCN16算法收敛过程如图4所示,横坐标表示迭代次数,纵坐标表示对应的类别LOSS,总体LOSS(代价函数损失值),DRPN下采样区域分类LOSS和DRPN下采样算法坐标回归LOSS,算法总共迭代了15万次,DRFCN方法很快得到收敛.
为了进一步描绘DRFCN算法的收敛性,通过召回率和对应的精度之间的函数关系可以画出对应的图4DRFC16迭代收敛过程示意图Fig.
4SchematicdiagramoftheDRFC16iterativeconvergenceprocess类别损失训练次数/10402461012141680.
00.
51.
52.
51.
02.
0yDRPN类别损失训练次数/10402461012141680.
00.
51.
52.
51.
02.
0联合损失训练次数/10402461012141680.
00.
51.
53.
51.
03.
0DRPN坐标回归损失训练次数/10402461012141680.
000.
050.
150.
250.
100.
20yyy2.
02.
5(a)(c)(b)(d)光电工程DOI:10.
12086/oee.
2019.
180307180307-7PR曲线,PR曲线很好地表现一个分类器的性能,平均准确率mAP就是PR曲线下方的区域面积,所以要求曲线包围的面积越大越好.
DRFCN算法的P-R曲线如图5所示,从图中可以看出:通过150000次迭代,算法很快收敛且分类器的性能表现也越来越佳.
2)预训练模型分类准确性对比实验DRFCN方法需要通过预训练模型对基础网络部分和全连接部分进行初始化.
在100万张ImageNet数据集上针对1000个不同类别的分类模型,分别使用DRFCN方法和已有典型深度学习模型方法开展预训练,得到实验结果如表2所示.
①网络模型大小分析:从表2中可以看出,DRFCN16、VGG16、ResNet-101的Top-5准确率差距小于1%,但DRFCN16网络模型大小分别是VGG16和ResNet-101的20.
5%和55.
2%.
表明当分类准确率相同,DRFCN网络模型小于已有典型深度学习网络模型.
即DRFCN方法可实现在大幅度压缩模型大小的情况下,获得和前沿算法相近的准确率.
②分类准确率分析:从表2中可以看出,DRFCN5和ResNet-18的网络模型大小分别为50.
8MB和44.
6MB;但是,DRFCN5的Top-1和Top-5分类准确率对比ResNet-18,分别提高了4.
5%和0.
5%.
表明:当模型大小相同,DRFCN可以取得更好的分类准确率.
3)DRFCN和已有方法的对比实验基于VOC数据集的训练时间、测试时间和识别准确性比较实验结果,如表3所示.
从表3中可以看出,在VOC2007数据集上,DRFCN16平均准确率75.
3%、每幅图像测试时间为0.
12s,VGG16的平均准确率69.
9%、每幅图像测试时间0.
42s,相对VGG16,DRFCN16在平均准确率上提高了5.
4%,在测试时间上减少了30ms.
结果表明,从识别结果的准确性和实时性分析,DRFCN方法整体性能优于VGG方法.
DRFCN16平均准确率75.
3%、每幅图像测试时间为0.
12s,RFCN-101的平均准确率76.
6%、每幅图像测试时间0.
17s,对于DRFCN16和RFCN-101,在平均准确率相当的情况下,DRFCN的测试时间减少了50ms.
结果表明,DRFCN16与RFCN-101的识别结果的准确性相当,但是DRFCN方法的实时性优于RFCN-101.
这里,对DRFCN算法的实时性提高做具图5精确率-召回率曲线Fig.
5Precision-recallcurve50000900001300001500000.
00.
10.
20.
30.
40.
50.
60.
70.
80.
9召回率0.
30.
4精确率0.
50.
60.
70.
80.
91.
0表2DRFCN在ImageNet数据集上预训练模型大小及分类准确率比较Table2Comparisonofpre-trainingmodelsizesforDRFCNonImageNetdatasets算法模型Top-1/%Top-5/%模型大小/MBDRFCN574.
990.
150.
8DRFCN1676.
193.
1112.
3VGG1676.
093.
2548.
3ResNet-1870.
489.
644.
6ResNet-10180.
194.
0203.
5光电工程DOI:10.
12086/oee.
2019.
180307180307-8体的分析:在目标识别任务中,通过堆叠卷积层可以得到表达能力更强的特征,然而深度学习算法模型会面临梯度弥散和梯度膨胀的问题,何凯明等人提出的残差算法模型[17]解决了这一类问题.
在RFCN-101残差网络中分别采用了如式(9)所示的前向传递表达式和如式(10)所示的反向传递表达式:11()nnliiiXXFX=9)δ()δδ(1)δδδllnlFXJJXXX=+,(10)式中:J表示代价函数,nX表示算法模型的第n层特征图,iF表示第i层特征图的变换.
而在本文提出的DRFCN算法中,前向传递过程和反向传递过程如式(11)、式(12)所示:1110()nninniXXFX==+∑,(11)δ()δδ(1)δδδllnlFXJJXXX=+.
(12)通过对比残差网络可以发现,DFCN算法和残差算法模型反向传递表达式相同,但是前向传递表达式不同,利用稠密连接卷积层方式,梯度同样是通过和的方式在算法模型中反向传递.
所以,DFCN算法加强了深度学习算法模型的特征表达能力,从而在较少的卷积操作计算的条件下,实现了模型特征提取能力的增强,使得模型在保证准确性的条件下实时性得到进一步提升.
4)基于自建军事目标数据集的识别实验在自建的军事目标数据集上测试了DRFCN算法,得到实验结果如表4所示,部分识别结果如图6所示.
从表4中可以看出,在具体的场景下,DRFCN算法在准确率上获得了77.
5%,每幅图像测试时间为0.
20s,相比该算法在VOC数据集上,准确率提升了2.
2%,测试时间减少了80ms.
该实验结果表明,DRFCN算法在准确率和实时性上满足军事目标识别任务.
4结论本文提出了一个面向军事目标识别应用的DRFCN深度网络模型算法,该算法通过卷积模块稠密连接的方式,复用深度网络模型中每一层的特征,可表3DRFCN算法和前沿目标识别算法模型在VOC2007数据集上的比较Table3ComparisonofDRFCNalgorithmandfrontiertargetrecognitionalgorithmmodelonVOC2007dataset算法模型每幅图像训练时间/s每幅图像测试时间/smAP/%DRFCN50.
210.
0972.
1DRFCN160.
280.
1275.
3VGG161.
200.
4269.
9RFCN-1010.
450.
1776.
6表4DRFCN16算法在自建的军事目标数据集上的平均准确率和测试时间Table4TheaverageaccuracyandtesttimeofDRFCN16algorithmonthedatasetoftheself-builtmilitarytarget每幅图像测试时间/smAP/%战斗机坦克直升机军舰枪导弹加农炮潜艇士兵0.
2077.
590.
777.
291.
678.
769.
174.
268.
867.
779.
5图6DRFCN检测结果部分展示Fig.
6DRFCNtestresultsdisplayinpart士兵枪士兵战斗机战斗机战斗机战斗机战斗机战斗机战斗机战斗机战斗机战斗机直升机直升机直升机直升机光电工程DOI:10.
12086/oee.
2019.
180307180307-9以提高目标识别的平均准确率并且减小深度网络模型的大小.
利用PASCALVOC数据集,从目标识别准确率、实时性和网络模型大小等评价指标,对DRFCN算法和典型深度目标识别网络进行对比实验和分析,结果表明,DRFCN算法综合性能指标更优,并可有效的解决梯度弥散、梯度膨胀问题.
进一步,利用自建的军事目标数据集,结合军事目标识别应用,使用DRFCN算法进行学习训练、测试、评价,验证了基于DRFCN的军事目标识别方法可以基本满足军事目标识别需求.
一方面,DRFCN算法采取的稠密连接卷积模块的方式提高了目标识别准确率,缩减了模型大小,但是该算法还存在冗余,因此,如何在保持准确率的前提下,对DRFCN算法模型做进一步的压缩,是后续研究的一个方向;另一方面,如何将大数据处理技术和云计算技术与DRFCN算法相结合,提升军事目标识别的准确性,也是后续研究的重点.
参考文献[1]NairD,AggarwalJK.
Bayesianrecognitionoftargetsbypartsinsecondgenerationforwardlookinginfraredimages[J].
ImageandVisionComputing,2000,18(10):849–864.
[2]CrevierD,LepageR.
Knowledge-Basedimageunderstandingsystems:Asurvey[J].
ComputerVisionandImageUnder-standing,1997,67(2):161–185.
[3]BartlettTA.
SimplifiedIRsignaturepredictionformodel-basedATR[J].
ProceedingsofSPIE,1993,1957:111–121.
[4]WatkinsWR,CuQlock-KnoppVG,JordanJB,etal.
Sensorfusion:apreattentivevisionapproach[J].
ProceedingsofSPIE,2000,4029:59–67.
[5]RogersSK,ColombiJM,MartinCE,etal.
Neuralnetworksforautomatictargetrecognition[J].
NeuralNetworks,1995,8(7–8):1153–1184.
[6]KrizhevskyA,SutskeverI,HintonGE.
ImageNetclassificationwithdeepconvolutionalneuralnetworks[C]//Proceedingsofthe25thInternationalConferenceonNeuralInformationProcessingSystems,2012:1097–1105.
[7]DaiJF,LiY,HeKM,etal.
R-FCN:objectdetectionviare-gion-basedfullyconvolutionalnetworks[C]//30thConferenceonNeuralInformationProcessingSystems,2016:379–387.
[8]RedmonJ,DivvalaS,GirshickR,etal.
Youonlylookonce:unified,real-timeobjectdetection[C]//2016IEEEConferenceonComputerVisionandPatternRecognition,2016:779–788.
[9]LiuW,AnguelovD,ErhanD,etal.
SSD:singleshotMultiBoxdetector[C]//14thEuropeanConferenceonComputerVision,2016:21–37.
[10]GirshickR,DonahueJ,DarrellT,etal.
Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmenta-tion[C]//2014IEEEConferenceonComputerVisionandPat-ternRecognition,2014:580–587.
[11]HeKM,ZhangXY,RenSQ,etal.
Spatialpyramidpoolingindeepconvolutionalnetworksforvisualrecognition[J].
IEEETransactionsonPatternAnalysisandMachineIntelligence,2015,37(9):1904–1916.
[12]GraumanK,DarrellT.
Thepyramidmatchkernel:discriminativeclassificationwithsetsofimagefeatures[C]//TenthIEEEInter-nationalConferenceonComputerVision,2005,2:1458–1465.
[13]GirshickR.
FastR-CNN[C]//Proceedingsofthe2015IEEEInternationalConferenceonComputerVision,2015:1440–1448.
[14]RenSQ,HeKM,GirshickR,etal.
FasterR-CNN:towardsreal-timeobjectdetectionwithregionproposalnetworks[J].
IEEETransactionsonPatternAnalysisandMachineIntelli-gence,2017,39(6):1137–1149.
[15]LongJ,ShelhamerE,DarrellT.
Fullyconvolutionalnetworksforsemanticsegmentation[C]//IEEEConferenceonComputerVi-sionandPatternRecognition,2015:3431–3440.
[16]WangZL,HuangM,ZhuQB,etal.
Theopticalflowdetectionmethodofmovingtargetusingdeepconvolutionneuralnet-work[J].
Opto-ElectronicEngineering,2018,45(8):180027.
王正来,黄敏,朱启兵,等.
基于深度卷积神经网络的运动目标光流检测方法[J].
光电工程,2018,45(8):180027.
[17]BengioY,SimardP,FrasconiP.
Learninglong-termdependen-cieswithgradientdescentisdifficult[J].
IEEETransactionsonNeuralNetworks,1994,5(2):157–166.
[18]HeKM,ZhangXY,RenSQ,etal.
Deepresiduallearningforimagerecognition[C]//2016IEEEConferenceonComputerVi-sionandPatternRecognition,2016:770–778.
[19]SrivastavaRK,GreffK,SchmidhuberJ.
Trainingverydeepnetworks[C]//NeuralInformationProcessingSystems,2015:2377–2385.
[20]HuangG,LiuZ,VanDerMaatenL,etal.
Denselyconnectedconvolutionalnetworks[C]//2017IEEEConferenceonCom-puterVisionandPatternRecognition,2017:2261–2269.
[21]SzegedyC,LiuW,JiaYQ,etal.
Goingdeeperwithconvolu-tions[C]//2015IEEEConferenceonComputerVisionandPat-ternRecognition,2015:1–9.
[22]ZagoruykoS,KomodakisN.
Wideresidualnet-works[C]//ProceedingsoftheBritishMachineVisionConfe-rence,2016,87(7):1–12.
[23]XieSN,GirshickR,DollarP,etal.
Aggregatedresidualtrans-formationsfordeepneuralnetworks[C]//2017IEEEConferenceonComputerVisionandPatternRecognition,2017:5987–5995.
[24]GuY,XuY.
FastSARtargetrecognitionbasedonrandomconvolutionfeaturesandensembleextremelearningma-chines[J].
Opto-ElectronicEngineering,2018,45(1):170432.
谷雨,徐英.
基于随机卷积特征和集成超限学习机的快速SAR目标识别[J].
光电工程,2018,45(1):170432.
[25]EveringhamM,EslamiSMA,VanGoolL,etal.
Thepascalvisualobjectclasseschallenge:aretrospective[J].
InternationalJournalofComputerVision,2015,111(1):98–136.
[26]DengJ,DongW,SocherR,etal.
ImageNet:Alarge-scalehierarchicalimagedatabase[C]//2009IEEEConferenceonComputerVisionandPatternRecognition,2009:248–255.
光电工程DOI:10.
12086/oee.
2019.
180307180307-10DesignandimplementationofDRFCNin-depthnetworkformilitarytargetidentificationLiuJun1*,MengWeixiu1,YuJie2,LiYahui1,SunQiao11FundamentalScienceonCommunicationInformationTransmissionandFusionTechnologyLaboratory,HangzhouDianziUniversity,Hangzhou,Zhejiang310018,China;2ChinaShipbuildingIndustryCorporation715ResearchInstitute,Hangzhou,Zhejiang310023,ChinaGeneralstructurediagramofDRFCNdepthnetworkmodelOverview:Automatictargetrecognition(ATR)technologyhasalwaysbeenthekeyanddifficultpointinthemilitaryfield.
Photoelectricdetectionisoneofthekeydetectionmethodsinmodernearlywarninganddetectioninformationnetwork.
Inactualcombat,massiveimagesandvideodataofdifferenttypes,timingsandresolutionscanbeobtainedbyoptoelectronicdevices.
Forthesemassiveinfraredimagesorvisiblelightimages,thispaperdesignsandimplementsaDRFCNin-depthnetworkformilitarytargetidentificationapplications.
Firstly,theDRFCNalgorithminputsimagesandthepartofDRPNisdenselyconnectedbytheconvolutionmoduletoreusethefeaturesofeachlayerinthedeepnetworkmodeltoextractthehighqualitygoalsofsamplingregion;Secondly,intheDFCNpart,wefusetheinforma-tionofthesemanticfeaturesofthehighandlowlevelfeaturemapstorealizethepredictionoftargetareaandlocationinformationinthesamplingarea;Finally,thedeepnetworkmodelstructureandtheparametertrainingmethodofDRFCNaregiven.
Intheexperimentalanalysisanddiscussionpart:1)Throughalargenumberofexperiments,wedrawvarioustypesofLOSScurvesandP-RcurvestoprovetheconvergenceoftheDRFCNalgorithm.
2)Onthepre-trainingclassificationmodelbasedontheImageNetdataset,theDRFCNalgorithmachieved93.
1%Top-5accuracy,76.
1%Top-1accuracyandthemodelsizewas112.
3MB.
3)BasedonthePASCALVOCdataset,theaccuracyofDRFCNalgorithmis75.
3%,whichis5.
4%higherthanthatofVGG16network.
ThetesttimeoftheDRFCNalgorithmis0.
12s.
ComparedtoVGG16,thetesttimewasreducedby0.
3s.
TheDRFCNalgorithmhasadvantagesovertheexist-ingalgorithm.
Therefore,itissuperiortotheexistingdepthlearningbasedtargetrecognitionalgorithm.
Atthesametime,itisverifiedthattheDRFCNalgorithmcaneffectivelysolvethevanishinggradientandexplodinggradient.
4)Us-ingtheself-mademilitarytargetdatasetforexperiments,theDRFCNalgorithmhasanaccuracyrateof77.
5%andatesttimeof0.
20s.
ComparedtothePASCALVOC2007datasetalgorithm,theaccuracyisincreasedby2.
2%.
Thetimeisreducedby80milliseconds.
TheresultsshowthattheDRFCNalgorithmachievesthemilitarytargetrecognitiontaskinaccuracyandreal-time.
Insummary,comparedwiththeexistingdeeplearningnetwork,thecomprehensiveperfor-manceoftheDRFCNalgorithmisbetter.
TheDRFCNalgorithmimprovestherecognitionaverageaccuracy,reducesthedepthnetworkmodelandeffectivelysolvesthevanishinggradientandexplodinggradient.
Citation:LiuJ,MengWX,YuJ,etal.
DesignandimplementationofDRFCNin-depthnetworkformilitarytargetiden-tification[J].
Opto-ElectronicEngineering,2019,46(4):180307SupportedbyNavalEquipmentPre-researchInnovationProjectandNationalNaturalScienceFoundationofChina(61333009,61427808)*E-mail:gutlj@163.
comPicturePictureDRPNnetDFCNnetRPNConvConvDenseblockFeaturemapROIpoolingFCCoordinateregressionClassify