卷积卷积神经网络

第41卷第5期江西师范大学学报(自然科学版)Vol.
41No.
52017年9月JournalofJiangxiNormalUniversity(NaturalScience)Sep.
2017收稿日期:2017-03-27基金项目:国家自然科学基金(51365017,61305019)资助项目.
作者简介:杨国亮(1973-),江西丰城人,男,教授,博士,主要从事模式识别与图像处理、智能控制的研究.
E-mail:ygliang30@126.
com文章编号:1000-5862(2017)05-0476-08一种改进的深度卷积神经网络的精细图像分类杨国亮,王志元,张雨(江西理工大学电气工程与自动化学院,江西赣州341000)摘要:精细图像分类不同于传统的图像分类,由于精细图像自身的类间相似性和类内差异性,传统的基于手工特征和局部特征组合方法已经很难完整地表达精细图像的特征,因此提出了一种基于改进的深度卷积神经网络模型.
由于深度卷积神经网络结构参数和神经元数量巨大,训练模型困难,所以采用高斯分布对前6层参数初始化,其中激活函数采用校正之后的Relus-Softplus函数,在花卉图像数据库OXford-102flowers中TOP1准确率达到85.
75%,TOP3准确率达到了94.
50%.
实验结果表明:该模型在中等规模数据集上比传统方法优势明显,且比未改进的CNN模型识别率高.
关键词:精细图像分类;深度卷积神经网络;激活函数;特征提取中图分类号:TP391.
41文献标志码:ADOI:10.
16357/j.
cnki.
issn1000-5862.
2017.
05.
060引言在视觉领域中,精细图像分类一直是研究的重点[1-2],不同于传统的图像分类,比如calteh101[3]、caltech256[4]图像数据集分别包含101类、256类不同种类的图片,类与类之间语义结构差别较大,而精细图像语义及结构特征非常相似.
在传统的方法中,如有通过使用监督模板矩阵迭代来分析(Grab-Cut算法)图片中感兴趣的区域,还有对图像特征进行编码操作(词袋(BOW))等,对于这些传统的方法,一般需要大量的人工区域标注信息,其特征信息表达程度不够,因此分类能力有限.
2006年,Hiton等提出了一种基于深度信念网络的快速学习算法(DBN),引起了深度学习的一度浪潮.
深度学习无需人工提取特征,不仅在人工智能方面取得了质的飞越,而且在计算机视觉的领域上取得了较大突破,如语音识别[5]、人脸识别[6]等.
对于传统的神经网络,有2个缺点:(i)经典的BP神经网络,在进行误差传播时若层数过多则会出现梯度弥散现象;(ii)整个神经网络需要通过大量的非线性变换,参数过多,容易出现过度拟合现象.
所以传统的神经网络结构层数不多,提取图片特征信息不够全面.
本文尝试使用改进的深度卷积神经网络进行精细图像分类,认为在构建精细图像分类问题的CNN网络结构时,有以下2个问题值得考虑.
问题1当数据库中数据量偏小时,是否能体现出深度卷积神经网络的优势文献[7]指出在大量的数据训练情况下,使用深度CNN网络效果良好,如在2012年Alex在Ima-genet比赛中使用的数据集ILSVRC,其中图片有120万幅左右,类别在1000个.
然而在精细图像分类问题上,图像的数据集难以达到以上要求,原因有:(i)精细图像一般是属于一个级别,比如,在花类中要找到1000个不同类的花卉类别,其工作量太大,数据集也很难获取;(ii)在精细图像数据集类别中,不管是不同类别还是同一类别的图片,语义相似、背景复杂、类之间的差别较小等都会引入较大的噪声,这不利于精细图像分类.
那么如何在数据集和类别数较少的情况下,充分发挥深度CNN网络对精细图像分类任务中的作用,是值得去思考的问题.
问题2在精细图像分类中,深度CNN网络模型是否能够学习到不同图像的不同特征深度卷积神经网络是根据生物视觉系统进行设计的,对图像的特征提取更加抽象,更有利于分类.
从已有图像分类研究表明[8],深度CNN网络结构学习到的图像特征比传统方法学习到的图像特征更易于分类.
精细图像分类与图像分类都是对图像特征进行学习,从中获取图像特征的共性与个性,最大化的分出不同的类别.
对于以上2个问题的考虑,本文提出一种改进的深度卷积神经网络模型以便对精细图像进行分类,在进行深度CNN网络学习图像特征时,本文进行了以下尝试:(i)问题1采用2012年Alex在Ima-geNet数据库上训练得到的模型,用来初始化模型参数,解决数据集较少、类别数目少以及难以发挥深度CNN网络优势的问题;(ii)问题2采用深度卷积神经网络进行模型训练.
1深度卷积神经网络目前,深度卷积神经网络已经成为众多领域的研究热点之一.
卷积神经网络主要有3大优点:局部感受野、权值共享、下采样,其中局部感受野指的是每一层的神经元只与上一层的一部分区域的神经元相连;权值共享是指采用相同的卷积核对同一张图片进行卷积操作;下采样是指把输入的特征图像划分为不同的子模块,然后对每个子模块进行池化操作.
1.
1卷积层卷积层主要是通过输入的2维图像矩阵与每个卷积核进行卷积操作,采用的方式是局部感受野,每一组神经元都有一组权值,这些权值与前一层神经网络矩阵块神经元相关联,即权值共享.
一般地,通过不同的卷积核可以得到不同的特征图,其卷积层的计算公式为Xlj=f(∑i∈MjXl-1iKlij+blj),l表示层数,Xl-1i表示第l-1层的第i张特征图,Klij表示第l层卷积核,f(·)表示激活函数,blj表示偏置参数.
1.
2下采样层卷积层紧接着下一层是下采样层,下采样的基本原理是根据图像的相对不变性的属性,对图像相邻区域的特征信息进行聚合统计.
经过下采样层之后其中特征图的个数不会减少,但是输出的特征图的大小会改变(一般变为原来的1/2),不仅可以减少运算量,而且可以降低图像的分辨率.
另一方面,图像经过下采样之后具有平移不变性,从而增强网络对图像变化的适应性.
其中下采样一般形式为Xlj=f(βljdown(Xl-1j)+blj),其中down(·)表示下采样函数,一般有3种下采样的方式:最大下采样(Max-Pooling)、均值下采样(Mean-Pooling)、随机下采样(Stochastic-pooling),βlj表示第l层第j个特征图,blj表示第l层第j个偏置项.
1.
3激活层激活函数的选取对网络结构训练的收敛性有较大影响,因此选取合适的激活函数至关重要.
除了输入层神经元和下采样层一般没有激活函数,其他各层神经元都有激活函数作为传递函数.
常用的激活函数有饱和非线性函数(如Sigmoid函数、Tanh函数)和不饱和非线性函数(如Relus函数、Softplus函数).
1.
4全连接层全连接层相当于一种前馈人工神经网络模型,特点是本层的神经元与上层的神经元两两相连,但是本层的神经元之间是不相连的结构模型.
其中每个神经元输出表示为hw,b(x)=f(WTx+b).
经过全连接层之后输出的局部特征信息作为下一层(Hingeloss等分类器)的输入,图像特征由原来的2维矩阵变为1维矩阵.
由于卷积运算是2维的,所以后面不需要卷积层操作,为了防止过度拟合现象,提高网络结构的泛化能力,采用了Dropout技术[9].
1.
5输出层本文设计的模型有2个输出层:(i)Softmax分类器输出层,(ii)Accuracy准确率输出层,Softmax分类器是逻辑回归模型在多个类别分类问题上的推广,但是不适合多个标签样本.
在Logisticregression中,所学习的系统方程为hθ(x)=(1+exp(-θTx)-1,对应的损失函数为J(θ)=-1m(∑mi=1y(i)loghθ(xi)+(1-yi)log(1-hθ(xi))),可以看出,给定样本输出一个概率值,该概率值表示的含义是这个样本属于类别1的概率.
因为总共才有2个类别,若有K个类别,则在Softmaxregression中系统方程为hθ(xi)=p(yi=1xi);θ1p(yi=2xi);θ2p(yi=kxi);θk=1∑kj=1eθTjxieθT1xieθT2xieθTkxi,其中(∑kj=1eθTjxi)-1表示归一化项,θ1,θ2,…,θk是模型的可学习参数.
此时损失函数为J(θ)=-1m∑mi=1∑kj=1I(yi=j)logeθTjxi∑kl=1eθTlx()i,774第5期杨国亮,等:一种改进的深度卷积神经网络的精细图像分类其中I{·}表示指示性指标函数,当yi=J值为真时输出为1,反之输出为0.
当求最优解时,可以选用随机梯度下降法、牛顿法、L-BFGS法等,Logisticregression中的损失函数的偏导函数为!
θjJ(θ)=1m∑mi=1(p(yi=jxi;θ)-xi(I(yi=j))),其中!
θjJ(θ)表示损失函数对第j个类别的第i个参数的偏导,本文采用随机梯度下降法求出最优解.
2改进型的深度卷积神经网络模型2.
1模型原理整个实验过程可分为2个阶段:训练阶段和测试阶段.
在训练阶段可以分为前向传播和反向传播,比如卷积、下采样等一系列过程都是前向传播提取特征的过程,其中前向传播输出函数表示为h=fL(XL;WL),f(·)表示激活函数,XL表示前一层的输出值,WL表示权值矩阵.
反向传播的过程采用传统的BP算法,使用链式求导法则更新权值和偏置,在最后一层采用Soft-max回归模型,本文使用的是Log-loss误差函数.
比如在第L层,损失函数可表示为l(xi,yi)=-1n∑ni=1(yi-ln(gL(xi;wi)))+λ∑LK=1∑KJ=1‖WJ‖,其中n表示的是样本的总数,xi,yi分别对应的是训练样本数和训练样本标签,为了防止过度拟合,也采用了L2正则化项.
此时整个网络的输出函数表示为O=argwLmin1n·∑ni=1l(gL(xi;wL),yi),其中wL权值矩阵通过下列函数进行更新lwL=-1n(YL-g(xi;wL))g'(XL;wL)+λwL.
本文采用随机梯度下降法进行迭代,不断更新权重以及偏置使得误差值最快达到收敛状态.
在整个深度CNN网络的结构中,有2层在误差反向传播的方式是与传统的BP是不相同的,分别为卷积层和下采样层.
若卷积层的前一层为下采样层时,则需要从后一层卷积层的误差来求该下采样层的误差.
其中输出表达式为yjL-1=(∑Mi=1yiLKij)g'(xjL;wL),其中yL表示卷积误差,Kij表示卷积层的卷积核,g'(xjL;wL)表示该激活函数的导数.
若卷积层的后一层为下采样层,则该卷积层的误差可表示为yjL-1=upsample(yjL)g'(xjL;wL),其中upsample(yjL)表示进行下采样所使用的方法与前向传播时的下采样方式有关,若下采样的方式是随机最大概率,则需要查找出在下采样时随机最大概率的位置,并且在进行下采样时该位置被置为相对应的数值,其他的位置被置为0.
2.
2模型架构本文提出的改进的深度卷积神经网络结构模型如图1所示(与AlexNet模型相同,但是采用的激活函数不同),包括5个卷积层,卷积核大小为11*11,滑动步长为4,3个Pooling层和3个LRN层,激活函数采用的是通过Relus函数与Softplus函数校正之后的Relus-softplus函数,3个全连接层,最后一层为全连接层,即需要提取的特征向量.
本文最大的特点在于将不饱和非线性Relus函数和Softplus函数各自的稀疏表达能力和光滑特性结合起来,Relus函数和Softplus函数的公式表示如下及各自函数曲线如图2所示.
Relus函数为f(x)=MAX(0,x),Softplus函数为h(x)=log(1+ex).
从图2可看出,Relus函数在小于零的情况下全部置为零,大于零的数就保持不变,这说明该函数具有稀疏表达能力但并没有非线性纠正能力,Softplus函数是对全部的数据进行非线性映射,但是没有稀疏表达能力.
先将Softplus函数曲线向下平移log2个单位长度,并且把小于零的数据归为0.
图1深度卷积神经网络结构图874江西师范大学学报(自然科学版)2017年图2Relus与Softplus函数曲线该函数可记为Relus-Softplus(rectifiednonlinearunits-softplus),其函数曲线如图3所示,函数表达式可表示为f(x)=MAX(0,log(1+ex)-log2),从该函数的图形来看,该函数不仅具有稀疏表达能力,而且可以去除数据中的冗余,最大可能的保留数据的特征.
图3Relus-Softplus函数及导数曲线在反向传导时,采用的是BP算法推导,当误差从输出层反向传播算梯度时,在各层都要乘上当前层的输入神经元值,激活函数的一阶导数,即梯度表达式可为Grad=Error·(Relus-softplus)'(x)·x.
这样,在经过每一层时Error都是成倍的衰减,一旦进行递推式的多层反向传播,梯度就会不停地衰减,消失,使得网络学习变慢.
如图3所示,Relus-softplusd函数在大于零的数据都进行了非线性映射.
且该激活函数的导数在大于0的情况下,呈现的是递增趋势,与Relus一样克服了梯度消失问题.
为了验证改进后的激活函数是否真的能提高分类准确率,本文直接采用Relus、softplus、Relus-soft-plus3种激活函数对102类花卉进行分类,如图4所示,改进后的激活函数Relus-softplus分类准确率有所提高;如表1所示,分类错误率明显下降;如图5所示,在迭代500次之后,采用Relus-softplus激活函数的loss从5.
457降到1.
699.
通过以上实验可以得出改进后的激活函数不仅可以提高网络的收敛速度,而且对精细图像分类识别率有所提高.
图4不同激活函数网络模型对102类花卉分类正确率随着训练次数变化曲线图5不同激活函数网络模型对102类花卉分类生成loss随着训练次数变化曲线表1不同激活函数网络模型对102类花卉分类错误率激活函数不同激活函数的TOP1分类错误率(%)Relus16.
57Softplus15.
69Relus-softplus14.
252.
3模型分析卷积层以及全连接层各参数设定不当均会对深度CNN网络模型有较大的影响,比如计算加速优化以及参数进行优化、权值裁剪等.
974第5期杨国亮,等:一种改进的深度卷积神经网络的精细图像分类在进行单样本前向传播时,假设卷积层有L个输出通道和K个输入通道,卷积核大小为I·J,每个输出通道的特征图大小均为M·N,则计算量记为Calculations(MAC)=I·J·M·N·K·L.
注意,实际中通常一次送入一批样本(batch),此时计算量应该乘上批量尺寸.
通过上述参数,可以计算出卷积层的学习参数数量,也就是卷积核数目乘上卷积核尺寸Params=I·J·K·L,这里定义计算量-参数量之比为CPR(CalculationstoParametersRatio)=MAC/Params=M·N,可以看出若卷积层的输出特征图尺寸越大,则CPR值越大,参数的重复率越高,若输入一批数据(B个样本),则CPR值可再提高B倍,在全连接层中单样本前向传播计算量统计为Calculations(MAC)=V·D,其中D表示输入节点组成向量的维度,V表示输出节点组成向量的维度.
在参数量的统计为Params=V·D,则CPR值为1,可见,全连接层的CPR值始终为1,与输入输出维度无关,权值重复率很低,若将一批(B个)样本xi逐列拼接成矩阵X,则全连接层前向传播计算量提高了B倍,而参数量是不变的,因此CPR提高了B倍,权值矩阵在多样本之间实现了共享,可提高计算速度,也就是说卷积层在输出特征图维度实现了权值共享,这是降低参数量的重要举措,与此同时,卷积层局部连接也大幅度减少参数量,但是计算量大,而后几层的全连接层参数量占比大,计算量小,大多数CNN模型都是符合这个特点,因此在进行计算加速优化时,重点放在卷积层;而当参数进行优化、权值剪裁时,最好放在全连接层.
3实验与分析3.
1精细图像分类数据库为了检测该模型的有效性,选取了OXford-17flowers、OXford-102flowers数据库,该数据来自于英国牛津大学的视觉几何实验室(VisualGeometryGroup)所创建的花卉图像数据库,OXford-17flowers数据库包含17类花卉图像,一共有1360张图片,每个类别是80张,OXford-102flowers数据库包含了102类,每一类花卉图片在40~258张之间,总共是8189张图片.
该数据库也兼顾了在图像识别领域中所有的难点,比如光照的变化、视觉的变化、背景复杂、花卉类别形态以及颜色变化,加上部分不同的花卉高度相似,因此研究精细图像分类具有重要的意义,本节将给出试验结果与分析.
3.
2改进型的卷积神经网络结构实验3.
2.
1实验设置本实验采用的硬件设备Inter(R)Core(TM)i7-4790CPU3.
60GHz内存16.
0GB和NvidiaGeForceGT750MGPU,软件环境是在Ubuntu14.
04系统下采用深度学习Caffe框架进行训练和测试.
选用的是OXford-17flowers、OXford-102flowers数据库,在对图像进行预处理时,因为17类花卉图片分辨率不均等,首先是将所有的图片进行缩放到256*256像素,在程序文件prototxt中设置scale为227,对图片中间进行截取227*227像素图像块,然后对图片进行镜像翻转.
值得注意的是,本文数据在进行训练和测试时都是用训练数据处理为均值文件,可以提高文件存取效率.
在OXford-102flowers数据库训练时,其Dropoutratio设置为0.
5,对OXford-17flowers数据集,其Dropoutratio设置为0.
6.
原因是训练样本数据过少需要抑制更多的神经元,防止过拟合现象.
在pooling层,pool参数选择的是MAX,即为最大下采样.
本文选择的激活函数为校正之后的Rule-softplus函数,不仅可以加快收敛的速度,而且对识别率有所提高.
由于样本数据不多,初始学习率设置为0.
005,2个数据库都是采用step方式迭代,当达到544次或者1500次时,都是以1/10的方式下降.
使用训练好的模型文件,作为前6层网络的初始化,并且将前6层学习率调为0.
001,后全连接层学习率调为0.
005,加快全连接层训练速度,具体的参数需要根据所选择哪种梯度下降法进行设置.
在17类花卉分类时,对比采用不同Batchsize进行测试.
在102类花卉中训练集的Batchsize为64,测试集的Batchsize为50.
3.
2.
2结果分析表2列出了不同激活函数所对应的17类花卉的正确率,其中训练集的Batchsize为64,测试集的Batchsize为34,迭代次数是1088次,其中在Signmoid激活函数下TOP1和TOP3分类准确率都是最低的.
在通过Relus和Softplus函数校正之后的激活函数Relus-Softplus上分类比其他激活函数分类效果好.
表3与表2不同的地方在于训练集的Batchsize为32,测试集的Batchsize为17,如表3所示,在降低Batchsize情况下,对图像分类还是有一定的影响,在TOP1分类中达到了93.
95%的正确率,比文献[12]中所提到的2种方法(直接融合特征方法和多特征融合方法)分类精度提高了0.
81%左右.
在进行102类花卉分类实验时,直接对比Relus084江西师范大学学报(自然科学版)2017年函数、Softplus函数及校正之后的Relus-Softplus函数分类正确率,通过实验对比,其中训练集的Batchsize为64,测试集的Batchsize为50,测试的迭代次数为32次,总共迭代次数为6500次.
从表4可以看出,校正之后的Relus-Softplus函数比Relus与Softplus激活函数准确率分别高出2.
32%、1.
44%,在对102类花卉进行分类时得出准确率为85.
75%,针对实验一些部分错分比较严重以及准确率比较高的部分花卉进行分析(见图6和图7).
图6试验中部分错误分类的花卉图像示例图7分类准确率比较高的部分花卉示例由图6对比发现watercress、yellowiris以及daf-fodil不仅在颜色而且形状都是比较相似的,kingprotea在不同时期中颜色形状都不一样,从而影响分类效果.
由图7对比发现分类准确率比较高的图片的颜色和形状均是有明显差异的.
针对花卉图像分类,目前已经取到不少成果,如文献[15,17-18]采用的是先对图像进行分割再进行分类方法,文献[13-14,16]研究特征在图像表示方面.
具体的准确率如表5和表6所示.
据表5知,通过对比传统方法和未改进的CNN模型方法,改进后的CNN模型对花卉图像分类准确率明显提高.
但是对于17类花卉图像的分类效果来看改进后的CNN模型分类效果不是很明显,由于采用CNN模型需要大量的数据集进行训练,得到更抽象的特征,从表6可以发现改进后的CNN模型分类准确率明显高于其他方法,进而可以看出样本数量的大小对深度CNN模型分类性能有一定的影响.
因此对于模型的泛化能力的强弱以及分类效果的好坏,训练样本的多少很重要.
表2不同激活函数的分类正确率(train_batchsize=64,test_batchsize=32)%激活函数不同激活函数的分类正确率TOP1TOP3Tanh48.
1679.
04Sigmoid5.
8317.
64Relus91.
1799.
26Relus-Softplus91.
9198.
89表3不同激活函数的分类正确率(train_batchsize=32,test_batchsize=17)%激活函数不同激活函数的分类正确率TOP1TOP3Tanh47.
7972.
79Sigmoid5.
8817.
64Relus92.
6498.
16Relus-Softplus93.
9599.
63表4102类花卉分类准确率%激活函数不同激活函数的分类准确率TOP1TOP3Relus83.
4392.
52Softplus84.
3192.
95Relus-Softplus85.
7594.
50表5OXford-17flowers数据库实验结果对比%方法不同方法的分类准确率TOP1Baseline[12](特征直接融合)87.
50Gehler[13]85.
50Khan[14]89.
00Chai,BicosMT[15]90.
40Chai,Bicos[15]91.
10Femando[16]93.
00多特征融合[12]93.
14本文方法93.
95*此表数据引用自文献[12]的结果.
184第5期杨国亮,等:一种改进的深度卷积神经网络的精细图像分类表6OXford-102flowers数据库实验结果对比%方法不同方法的分类准确率TOP1Nilsback[17]72.
80Nilsback[15]76.
30Chai,Bicos[15]76.
30Chai,BicosMT[15]80.
00Angelova[18]80.
66多特征融合[12]79.
10本文方法85.
75*此行数据引用自文献[12]的结果.
4结论深度学习不仅在思想上已经成为机器学习领域的重要分支,而且在技术上是应用大数据分析的重要工具.
随着大数据概念的提出以及计算机硬件要求的不断提高,卷积神经网络应用更加广泛,本文设计的模型就是在Alexnet的基础上进行模型优化,利用校正之后的非线性修正函数对神经网络中的神经元进行映射,提高模型的分类正确率,其性能比未改进的网络模型分类效果更好,且比传统方法的分类效果更好.
然而深度学习模型只有在大量数据集的前提下进行训练模型,拟合能力才会更强,若数据量少则很容易造成过拟合的现象,因此本文设计的模型需要在更大的数据集上进行验证.
该模型用于精细图像分类也存在一些需要思考的地方,比如如何提取更有效的特征等.
更值得注意的是,近年来所有有关卷积神经网络应用的文献,其中大部分是针对某一类的数据库而设计的模型以其泛化能力不强,因此对于不同的识别任务,设计出通用性强的模型,提高效率是目前深度学习需要解决的问题之一.
5参考文献[1]WangXiaoyu,YangTianbao,LinYuanqing.
Object-centricfine-grainedimageclassification[EB/OL].
[2016-10-11].
http://www.
google.
com/patents/US20160140424.
[2]AkataZ,ReedS,WalterD,etal.
Evaluationofoutputem-beddingsforfine-grainedimageclassification[EB/OL].
[2016-10-11].
http://www-personal.
umich.
edu/~reed-scot/CVPR15.
pdf.
[3]ZhengL,ZhaoY,WangS,etal.
GoodPracticeinCNNFeatureTransfer[EB/OL].
[2016-10-11].
http://128.
84.
21.
199/pdf/1604.
00133.
pdf.
[4]GrohsP,WiatowskiT,BlcskeiH.
Deepconvolutionalneuralnetworksoncartoonfunctions[EB/OL].
[2016-10-11].
10.
1109/ISIT.
2016.
7541482.
[5]KimC,SternRM.
Power-normalizedcepstralcoefficients(PNCC)forrobustspeechrecognition[J].
ACMTransac-tionsonAudio,SpeechandLanguageProcessing(TASLP),2016,24(7):1315-1329.
[6]PentlandA,MoghaddamB,StarnerT.
View-basedandmod-ulareigenspacesforfacerecognition[EB/OL].
[2016-10-11].
http://www.
ijsr.
net/archive/v5i9/9091603.
pdf.
[7]SunY,WangX,TangX.
Deeplearningfacerepresentationfrompredicting10000classes[EB/OL].
[2016-10-11].
http://www.
ee.
cuhk.
edu.
hk/~xgwang/papers/sun-WTcvpr14.
pdf.
[8]RastegariM,OrdonezV,RedmonJ,etal.
XNOR-Net:ima-genetclassificationusingbinaryconvolutionalneuralnet-work[EB/OL].
[2016-10-11].
https://pjreddie.
com/media/files/papers/xnor_arxiv.
pdf.
[9]SchmitzA,BanshoY,NodaK,etal.
Tactileobjectrecog-nitionusingdeeplearninganddropout[J].
IEEE-RASInternationalConferenceonHumanoidRobots,2015,11(3):1044-1050.
[10]RenShaoqing,HeKaiming,GirshickR,etal.
FasterR-CNN:towardsreal-timeobjectdetectionwithregionpro-posalnetworks[J].
IEEETransactionsonPatternAnaly-sis&MachineIntelligence,2016,39(6):1137.
[11]NilsbackME,ZissermanA.
Delvingintothewhorlofflow-ersegmentation[EB/OL].
[2016-10-11].
http://www.
robots.
ox.
ac.
uk/~vgg/publications/papers/nilsback07.
pdf.
[12]谢晓东.
面向花卉图像的精细图像分类研究[D].
厦门:厦门大学,2014.
[13]AngelovaA,ZhuS.
Efficientobjectdetectionandsegmen-tationforfine-grainedrecognition[J].
ComputerVision&PatternRecognition,2013,9(4):811-818.
[14]ZouJ,NagyG.
Evaluationofmodel-basedinteractiveflow-errecognition[J].
InternationalConferenceonPatternRecognition,2004,2(2):311-314.
[15]Nilsback,MariaElena.
Anautomaticvisualflora-segmen-tationandclassificationofflowerimages[D].
Oxford:Ox-fordUniversity,2009.
[16]ChaiY,LempitskyV,ZissermanA.
BiCoS:aBi-levelco-segmentationmethodforimageclassification[J].
IEEEInternationalConferenceonComputerVision,2011,58(11):2579-2586.
[17]YangShulin,BoLiefeng,WangJue,etal.
Unsupervisedtemplatelearningforfine-grainedobjectrecognition[C].
AdvancesinNeuralInformationProcessingSystems,2012:3122-3130.
284江西师范大学学报(自然科学版)2017年[18]HongAnxiang,ChenGang,LiJunli,etal.
AflowerimageretrievalmethodbasedonROIfeature[J].
JournalofZhejiangUniversity:ScienceA,2004,5(7):764-772.
AnImprovedDepthConvolutionalNeuralNetworkforFineImageClassificationYANGGuoliang,WANGZhiyuan,ZHANGYu(SchoolofElectricalEngineeringandAutomation,JiangxiUniversityofScienceandTechnology,GanzhouJiangxi34100,China)Abstract:Fineimageclassificationisdifferentfromtraditionalimageclassification.
Duetothesimilaritybetweenin-traclassandintraclassdifferencesoffine-grainedimagesthemselves,itisdifficulttoexpressthecharacteristicsoffineimagebasedonmanualfeatureandlocalfeaturecombinationmethod.
Basedontheimproveddepthconvolutionneuralnetworkmodel,duetothelargenumberofdeepconvolutionneuralnetworkstructureparametersandthelargenumberofneurons,thetrainingmodelisdifficult,andtheGaussiandistributionisusedtoinitializethefirstsixparameters.
TheactivationfunctionisusedafterthecorrectionoftheRelus-Softplusfunction,theTOP1accuracyrateoftheflowerimagedatabaseOXford-102flowersis85.
75%,andtheTOP3accuracyrateis94.
50%.
Theex-perimentalresultsshowthatthemodelhasobviousadvantagesoverthetraditionalmethod,andtherecognitionrateishigherthanthatoftheunmodifiedCNNmodel.
Keywords:fine-grainedimageclassification;deepconvolutionalneuralnetwork;activationfunction;featureextrac-tion(责任编辑:冉小晓)(上接第469页)[38]涂冬波,蔡艳,丁树良.
认知诊断理论、方法与应用[M].
北京:北京师范大学出版社,2012.
[39]高椿雷,罗照盛,郑蝉金,等.
具有认知诊断功能的多阶段自适应测验及其影响因素研究[J].
心理科学,2015,39(6):1492-1499.
[40]TimmingaE.
Solvinginfeasibilityproblemsincomputerizedtestassembly[J].
AppliedPsychologicalMeasurement,1998,22(3):280-291.
TheTestAssembleMethodsofMultistageAdaptiveTestLIGuiyu,TUDongbo*,DAIBuyun,ZONGYitao,GAOXuliang,MIAOYing(SchoolofPsychology,JiangxiNormalUniversity,NanchangJiangxi330022,China)Abstract:Thekeytoimplementmultistageadaptivetest(MST)istobuildmultipleparalleltests(orpanels)thatmeetstatisticalandnonstatisticalconstraintsrequired.
Automatedtestassemble(ATA)providesawaytoachieveparalleltests.
Existingassemblemethodsaremainlybasedonlinearprogramming,heuristicalgorithm,MonteCarloandon-the-flymethod.
FuturestudiesshouldfocusonthecomparisonandimprovementofthesemethodsandthedevelopmentofATAbasedoncognitivediagnosistests.
Keywords:multistageadaptiveTest;automatedtestassemble;testassemblemethods;testspecification(责任编辑:冉小晓)384第5期杨国亮,等:一种改进的深度卷积神经网络的精细图像分类