卷积卷积神经网络

2019年5月农业机械学报第50卷第5期doi:10.
6041/j.
issn.
1000鄄1298.
2019.
05.
026基于FTVGG16卷积神经网络的鱼类识别方法陈英义1,2摇龚川洋1,3摇刘烨琦1,3摇方晓敏1,3(1.
中国农业大学信息与电气工程学院,北京100083;2.
农业农村部信息获取技术重点实验室,北京100083;3.
北京农业物联网工程技术研究中心,北京100083)摘要:针对大多数应用场景中,大多数鱼类呈不规则条状,鱼类目标小,受他物遮挡和光线干扰,且一些基于颜色、形状、纹理特征的传统鱼类识别方法在提取图像特征方面存在计算复杂、特征提取具有盲目和不确定性,最终导致识别准确率低、分类效果差等问题,本文在分析已有的VGG16卷积神经网络良好的图像特征提取器的基础上,使用ImageNet大规模数据集上预训练的VGG16权重作为新模型的初始化权重,通过增加批规范层(Batchnormalization,BN)、池化层、Dropout层、全连接层(Fullyconnected,FC)、softmax层,采用带有约束的正则权重项作为模型的损失函数,并使用Adam优化算法对模型的参数进行更新,汲取深度学习中迁移学习理论,构建了FTVGG16卷积神经网络(Fine鄄tuningVGG16convolutionalneuralnetwork,FTVGG16).
测试结果表明:FTVGG16模型在很大程度上能够克服训练的过拟合,收敛速度明显加快,训练时间明显减少,针对鱼类目标很小、背景干扰很强的图像,FTVGG16模型平均准确率为97郾66%,对部分鱼的平均识别准确率达到了99郾43%.
关键词:鱼类识别;卷积神经网络;迁移学习;模式识别中图分类号:TP391文献标识码:A文章编号:1000鄄1298(2019)05鄄0223鄄09收稿日期:20181030摇修回日期:20181227基金项目:国家重点研发计划项目(2017YFE0122100)和北京市科技计划项目(Z171100001517016)作者简介:陈英义(1980—),男,教授,博士生导师,主要从事农业模型和信息处理技术研究,E鄄mail:chengyingyi@cau.
edu.
cnFishIdentificationMethodBasedonFTVGG16ConvolutionalNeuralNetworkCHENYingyi1,2摇GONGChuanyang1,3摇LIUYeqi1,3摇FANGXiaomin1,3(1.
CollegeofInformationandElectricalEngineering,ChinaAgriculturalUniversity,Beijing100083,China2.
KeyLaboratoryofAgriculturalInformationAcquisitionTechnology,MinistryofAgricultureandRuralAffairs,Beijing100083,China3.
BeijingEngineeringandTechnologyResearchCenterforInternetofThingsinAgriculture,Beijing100083,China)Abstract:Computervisiontechnologyiswidelyappliedinfishindividualidentification.
Nevertheless,therearesomeproblemssuchassmallfishtargets,occlusionofobjectsandlightinterferenceinvideosandimages.
Somefishidentificationmethodsbasedoncolor,shapeandtexturealsoexitcomplicatedcalculationsinfeatureextraction,suchasnon鄄migrationoffeatureswillresultinlowrecognitionaccuracyandpoorclassification.
WiththehelpofanalysisofimagefeatureextractionoftheexistingVGG16convolutionalneuralnetworkmodel,theFTVGG16convolutionalneuralnetwork(Fine鄄tuningVGG16convolutionalneuralnetwork)wasdesigned.
Asitwasknown,thebasicdeeplearningtoolusedinthisworkwasconvolutionalneuralnetworks.
TheFTVGG16convolutionalneuralnetworkwascomposedofconvolutionallayers,batchnormalizationlayers,poolinglayers,Dropoutlayers,fullyconnectedlayersandsoftmaxlayers.
TheexperimentalresultsshowedthattheaveragerecognitionaccuracyoftheFTVGG16modelforfishwasabout97郾66%,andtheaveragerecognitionrateofsomefishescouldreach99郾43%.
Ithadhighrecognitionaccuracyandrobustnessinpictureswithsmallfishtargetsandstrongbackgroundinterference.
Itcouldbeoperatedthroughanappropriate,easy鄄to鄄use,anduser鄄friendlywebapplicationforthespecificcaseoffishidentification.
Keywords:fishidentification;convolutionalneuralnetwork;transferlearning;patternrecognition0摇引言鱼类的计算机视觉识别一直是该领域的研究热点,多年来,许多学者对其进行了深入研究,尤其是基于颜色、形状、纹理等图像内容的鱼类识别研究较多,并取得了较大进展.
STRACHAN等[1]利用鱼的形状进行分类.
LARSEN等[2]使用线性判别分析方法(Latentdirichletallocation,LDA)对鱼种形状和纹理特征进行分类,准确率为76%.
HUANG等[3]提出BGOT(Balanceguaranteedoptimizedtree)算法,对采集的10个鱼种3179幅图像数据进行分类,准确率为95%.
吴一全等[4]提出基于最小二乘支持向量机(Leastsquaressupportvectormachine,LSSVM)的识别方法,准确率为95郾83%以上.
杜伟东等[5]提出了基于支持向量机(Supportvectormachine,SVM)的决策融合鱼类识别方法,准确率在90%以上.
图1摇鱼类图像样本Fig.
1摇Fishimagesamples但是,随着机器视觉技术的发展,数据量剧增,基于内容的识别方法在特征提取方面存在的计算复杂、特征不可迁移性[6]等问题愈发突出.
特别是对图像中存在目标小、他物遮挡、光线干扰等情况的图像识别上,存在识别准确率低或运算效率低等问题,不能满足实际需求.
深度学习[7]中卷积神经网络[8,11](Convolutionalneuralnetwork,CNN)的出现已经彻底改变了图像识别[8-9]、语音识别[10]以及大数据处理在农业中的应用方式.
刘德营等[12]提出了一种基于卷积神经网络的白背飞虱自动识别方法;傅隆生等[13]提出了一种基于LetNet5[14]卷积神经网络的田间多簇猕猴桃果实图像识别深度学习模型;王璨等[15]提出了一种基于卷积神经网络提取多尺度分层特征的田间玉米杂草识别方法,为本研究的开展提供了新思路.
本文在上述研究成果的基础上,通过分析已有的VGG16[16]卷积神经网络模型良好的图像特征提取功能,设计FTVGG16卷积神经网络,提高复杂应用场景鱼类目标的识别精度,为构建可靠、精准、快速的鱼类识别系统提供理论基础.
1摇材料与方法1郾1摇图像获取图像数据来自大自然保护协会提供的远洋捕捞船上摄像头拍摄的场景[17].
该协会提供了3777幅带标注的鱼类图像和1000幅不带标注的鱼类图像.
部分海鱼类图像示例如图1所示,图像包含8类目标,其中7类是不同种类的海鱼(目标)和1类不包括鱼类目标的背景,每幅图像只属于某一类别,构建的FTVGG16模型需要识别出每幅图像中包含的鱼类目标.
1郾2摇图像预处理在深度学习领域,通过对图像进行预处理可以增强数据样本,进而提高模型性能.
本文图像预处理主要包括:(1)图像像素值处理,即将JPG格式的图像转换为RGB三通道的矩阵向量存储.
映射图像像素值从[0,255]到[0,1],这样处理可以使模型在使用激活函数时,避免神经元进入"死区冶而导致神经元失活,最终使卷积神经网络获得比较快的收敛速度.
(2)图像空间尺度变换,即将图像进行随机缩放、平移、旋转、镜像、随机裁剪.
(3)图像均值与方差均衡,即样本归一化.
图像预处理的结果示例如图2所示.
预处理后图像尺寸为600像素伊600像素.
1郾3摇试验方法设计模型训练采用的环境是Ubuntu16郾04LTS操作系统、运行内存为16GB、NVIDIA1080Ti显卡GPU、并行CUDA[18]编程平台,Keras[19]的深度学习框架422农摇业摇机摇械摇学摇报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇2019年图2摇鱼类图像预处理示例Fig.
2摇Illustrationoffishimageprocessing摇和Python3郾6郾5编程语言.
试验方法设计包括模型训练、测试、对比验证.
(1)模型训练:经过预处理后的图像输入到卷积神经网络进行训练,保存训练后的模型参数与结构.
模型训练采用k折交叉验证的方式,k取5,将整个数据集的1/k作为测试集,每个模型训练k次,测试k次,误差取k次的平均值,选择误差最小的模型.
5折交叉验证示意图如图3所示.
数据集的划分使用Python脚本程序,提供划分数据集的比例,程序自动切分数据集以及随机打乱样本.
模型每次训练都会随机地从数据集中划分80%的训练集和20%的验证集.
2953幅图像作为训练集,用来训练模型,741幅图像作为验证集,用于调优模型参数、验证模型,1000幅不带标注的图像作为测试集,用来评价模型在未知数据集上的泛化性能,数据集划分示例如表1所示.
(2)模型测试:将测试图像输入到模型,获取输出分类结果,选取概率最大的目标.
基于5折交叉验证方法,最后的预测结果为5次预测结果的平均值.
522第5期摇摇摇摇摇摇摇摇摇摇摇摇陈英义等:基于FTVGG16卷积神经网络的鱼类识别方法图3摇5折交叉验证数据集划分Fig.
3摇Fivecrossvalidationdatasetsplit摇表1摇训练和验证数据集Tab.
1摇Summarizationtrainingsetandvalidationset鱼的种类训练集数目验证集数目长鳍金枪鱼1375344大眼金枪鱼16840海豚鱼8923月光鱼5314鲨鱼14036黄鳍金枪鱼532134带鱼23960背景(负样本)35790摇摇(3)对比验证:为验证本模型的识别效果,本文分别选择VGG16、VGG19[16]、ResNet50[20]进行对比.
2摇FTVGG16卷积神经网络的鱼类个体识别2郾1摇FTVGG16网络模型的构建FTVGG16网络由5个卷积块、3个全连接层、1个softmax层构成.
每个卷积块由卷积层Conv、批规范层(Batchnormalization,BN)[21]、池化层Pool组成,每个卷积块中的卷积层数和卷积核的参数不同.
例如,在第1个卷积块中,"Conv1_64伊2冶代表第1个卷积层中有64个卷积核,"伊2冶代表对上一层的输出进行两次相同的卷积操作运算,卷积后的输出进入BN层,BN层的输出进入激活层,激活层的输出进入最大池化层Pool,后续卷积块进行相同的操作.
图像作为卷积神经网络的输入,依次经过卷积层、批规范层、池化层、全连接层,最后的输出经过分类的softmax层进行概率空间映射,输出每种鱼的置信度,从而给出分类结果,FTVGG16网络架构示例如图4所示.
2郾1郾1摇卷积层设计FTVGG16卷积神经网络有13个卷积层,每个卷积层中的卷积核尺寸是3伊3,卷积核的移动步幅为1个像素,像素填充为"0冶值填充边界,这样处理能够使卷积前后图像的尺寸保持不变,尽量让卷积核感受图像的边缘信息,每个卷积层中的卷积核数量不固定,卷积核的数量依次为64、128、256、512.
图4摇FTVGG16网络架构Fig.
4摇NeuralnetworkframeworkofFTVGG16摇2郾1郾2摇批规范层设计FTVGG16卷积神经网络在训练过程中每层输入分布一直在改变,通过在FTVGG16网络每个卷积层后面添加批规范层,使得激活值输出的各个维度的均值为0,方差为1,尺度缩放和平移操作为了还原最初的输入,批规范化有助于规范化模型,使卷积神经网络更容易学习到数据的分布规律,计算公式为滋B=1m移mi=1xi(1)滓B=1m-1移mi=1(xi-滋B)2(2)622农摇业摇机摇械摇学摇报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇2019年x忆i=xi-滋B滓2B+着(3)yi=酌x忆i+茁=BN酌,茁(xi)(4)式中摇xi———第i个训练样本m———批量化数目滋B———样本均值摇摇滓B———样本方差x忆i———规范化样本着———误差项yi———线性映射以后的值酌、茁———模型学习参数BN酌,茁(xi)———输出2郾1郾3摇池化层设计FTVGG16卷积神经网络有5个池化层,这里使用最大池化层max鄄pooling,池化层主要用于减少图像维度的特征值.
池化层的卷积核尺寸是2伊2,卷积核的移动步长为2像素,像素不填充,图像经过max鄄pooling后尺寸会减小到原来的一半.
2郾1郾4摇全连接层设计FTVGG16网络的全连接层为Fc1、Fc2、Fc3、softmax,全连接层输出的神经元个数分别为4096、4096、1000、8.
Fc3全连接层的输出经过softmax层的映射,将实值映射为0到1之间的数值,即等价于输出每个类别的概率.
2郾1郾5摇Dropout层设计Dropout[22]是指在模型训练过程中,对于神经元按照一定的概率暂时从网络中丢弃.
对于随机梯度下降来说,由于是随机丢弃,每批次梯度下降(Batchgradientdescent,BGD)都在训练不同的网络.
Dropout在神经网络训练的过程中随机抛弃隐藏层的神经元,断开神经元的连接,在神经网络反向传播更新参数时,断开的神经元不参与参数的更新.
该技术能够有效地防止神经网络过拟合.
分别在全连接层Fc1、Fc2后面加入Dropout层,Dropout参数设置为0郾5,表示有一半的神经元不参与训练.
综上,设计FTVGG16卷积层网络参数如表2所示.
2郾2摇FTVGG16网络的优化2郾2郾1摇FTVGG16网络参数的优化FTVGG16采用Leaky鄄ReLU[23]激活函数,它的随机梯度下降[24](Stochasticgradientdescent,SGD)收敛速度比sigmod、tanh快,因为是线性的,而且只需要一个阈值就可以得到激活值,不需要进行复杂的运算.
2郾2郾2摇损失函数优化由于识别的是多类别鱼类,故使用多类别交叉熵[25]作为损失函数,其表达式为表2摇FTVGG16卷积层网络参数Tab.
2摇LayersparameterssummarizationofFTVGG16爷sconvolutionalnetworks网络层输出尺寸参数通道数Conv1_12243伊3/164Conv1_22243伊3/164BN1224064Pool11122伊2/264Conv2_11123伊3/1128Conv2_21123伊3/1128BN21120128Pool2562伊2/2128Conv3_1563伊3/1256Conv3_2563伊3/1256Conv3_3563伊3/1256BN3560256Pool3282伊2/2512Conv4_1283伊3/1512Conv4_2283伊3/1512Conv4_3283伊3/1512BN4280512Pool4142伊2/2512Conv5_1143伊3/1512Conv5_2143伊3/1512Conv5_3143伊3/1512BN5140512Pool572伊2/2512l=-1N移in移jktnklgynk(5)式中摇l———损失函数摇摇N———样本总数tnk———标注的真实值第n个样本的第k个属性的值,采用one鄄hot编码ynk———卷积神经网络预测值第n个样本的第k个属性的值防止模型过拟合,在损失函数加上正则化项,最终的损失函数表达式为l坩l+移i移j琢椰wi,j椰+(1-琢)w2i,j(6)式中摇wi,j———第i层神经元与第j层神经元全连接权重琢———调节因子摇摇坩———赋值操作2郾3摇FTVGG16网络模型的训练过程FTVGG16卷积神经网络采用Adam[26](Adaptivemomentestimation)优化算法进行训练.
Adam利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率,模型训练过程如图5所示.
系统训练过程步骤如下:(1)利用Keras框架中的生成器函数,设置批尺寸batch_size为32,通过数据流的形式,从训练样本中每次提取32个样本参与训练,初始学习率722第5期摇摇摇摇摇摇摇摇摇摇摇摇陈英义等:基于FTVGG16卷积神经网络的鱼类识别方法图5摇FTVGG16训练流程图Fig.
5摇TrainingflowchartofFTVGG16摇learning_rate设置为0郾00001,步长step设置为0郾001,训练总轮数epoch设置为50,每次通过生成器从内存中取出batch_size个样本参与一次梯度下降的参数更新,交叉熵损失函数l中的调节因子设置为0郾4,模型训练参数值如表3所示.
表3摇FTVGG16模型训练参数Tab.
3摇FTVGG16modeltrainingparametersvalues摇摇参数数值轮数50批尺寸32步长0郾001学习率0郾00001指数衰减率茁1、茁20郾9、0郾999除零误差项1伊10-8摇摇(2)在训练集上进行训练,并且在验证集上获取测试结果.
模型训练使用了"早停冶技术[27]防止过拟合,随着迭代轮数的增加,如果发现验证误差上升,则停止训练,将停止之后的权重作为模型的最终参数.
(3)神经网络通过前向传播得到预测值,计算预测值和实际值误差,如果误差满足系统所设阈值,终止训练迭代;否则继续进行训练,直至达到系统设置训练轮数上限,停止训练.
(4)返回步骤(1),循环训练.
3摇测试结果与分析3郾1摇FTVGG16识别结果分析FTVGG16模型经过24轮训练,在训练集上的准确率为99郾43%,在验证集上的准确率为95郾89%,模型训练到第30轮时,训练集上的误差几乎降至零,验证集上的误差也接近0郾2,说明设计的网络结构和优化算法可以使模型快速收敛,从而达到较高的准确率和较低的误差.
此外,模型在验证集上的误差没有上升,说明设计的FTVGG16模型没有出现过拟合,能够较优进行图像识别,FTVGG16模型在训练集和验证集上的准确率、误差如图6所示.
FTVGG16模型在训练集、验证集上的测试结果如表4所示.
测试结果包括模型的准确率、误差、训练轮数和每轮训练时间.
图6摇FTVGG16在训练集和验证集上训练的准确率和误差Fig.
6摇AccuracyanderrorofFTVGG16ontrainingsetandvalidationset摇表4摇FTVGG16模型在训练集、验证集上的测试结果Tab.
4摇FTVGG16modeltestresultsontrainingsetandvalidationset数据集准确率/%误差训练轮数每轮训练时间/s训练集99郾430郾03462499郾40验证集95郾890郾14722499郾403郾2摇FTVGG16与其他模型对比为了验证FTVGG16模型的识别效果,对比了其他卷积神经网络模型.
对比方法均采用5折交叉验证法,比较的预测结果为5次预测结果取平均.
不同模型(FTVGG16、VGG16、VGG19、ResNet50)在训练集、验证集上的测试结果如表5所示.
结果表明:FTVGG16模型在训练集上的准确率为99郾43%,误差为0郾0346;在验证集上的准确率为95郾89%,误差为0郾1472,在训练集和验证集上的平均准确率为97郾66%,明显高于其他模型的准确率.
3郾3摇FTVGG16卷积神经网络可视化分析3郾3郾1摇FTVGG16卷积神经网络特征图可视化卷积神经网络中的卷积操作能够有效提取图像的特征[28],如图7所示.
不同卷积层输出的特征由822农摇业摇机摇械摇学摇报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇2019年表5摇不同模型在训练集、验证集上的测试结果Tab.
5摇Testresultsofdifferentmodelsontrainingsetandvalidationset数据集模型准确率/%误差训练轮数每轮训练时间/sFTVGG1699郾430郾03462499郾40训练集VGG1697郾450郾07532458郾40VGG1998郾100郾06142458郾80ResNet5099郾280郾03672459郾60FTVGG1695郾890郾14722499郾40验证集VGG1695郾030郾23172458郾40VGG1994郾610郾23472458郾40ResNet5095郾270郾18652459郾60具体到抽象,Conv1_2和Conv2_2层的激活值输出仍保留大部分原始图像信息,靠后的Conv3_3、Conv4_3层输出更多地表达图像的线条、轮廓等抽摇摇象特征,最后的Conv5_3仅仅保留了图像的高阶像素信息.
通过可视化卷积层的输出,有助于理解卷积神经网络的工作原理,从而更好地改善模型性能.
3郾3郾2摇FTVGG16卷积神经网络卷积核特征可视化卷积神经网络中的卷积核可以提取图像不同层次的特征,如图8所示.
Conv1_2层中的卷积核可以提取图像像素特征,Conv2_2层中的卷积核可以提取图像的边缘特征,这种边缘特征经过组合可以很好地描述图像的边、角、线条、轮廓特征,靠后的Conv3_3、Conv4_3层中的卷积核更多地提取图像的纹理特征,最后的Conv5_1、Conv5_2中的卷积核通过组合靠前的卷积核提取的特征,重构出图像的形状特征.
通过可视化卷积核的输出,可以更好地研究卷积核如何从图像中提取各个层次的抽象特征,进而更好地理解卷积神经网络的工作原理.
图7摇FTVGG16部分卷积层输出可视化Fig.
7摇FTVGG16partialconvolutionlayersoutputvisualization摇图8摇FTVGG16部分卷积核输出可视化Fig.
8摇FTVGG16partialconvolutionkernelsoutputvisualization922第5期摇摇摇摇摇摇摇摇摇摇摇摇陈英义等:基于FTVGG16卷积神经网络的鱼类识别方法3郾4摇FTVGG16卷积神经网络在Web中的部署应用本文使用Python语言编写的轻量级Web应用框架Flask[29],将训练的深度学习模型FTVGG16迁移到实际生产环境,Flask集成了WSGI(服务器网关接口),为Python应用程序或框架和Web服务器之间提供接口,同时Flask也集成了Jinja2模板引擎,能够快速搭建一个基于Web的应用.
Fishidentify鱼类识别系统在部分图像上的测试结果如图9所示,Fishidentify的鱼类平均识别精度达到了98%以上,表明系统能够满足实际使用的要求.
图9摇鱼类图像的识别示例Fig.
9摇Illustrationoffishimagerecognition摇摇摇4摇结论(1)从深度学习的角度,探讨了卷积神经网络在鱼类识别中的应用,通过分析已有的VGG16卷积神经网络模型良好的图像特征提取能力,设计了FTVGG16卷积神经网络.
FTVGG16卷积神经网络由卷积层、批规范层、池化层、Dropout层、全连接层,softmax层组成,采用带有约束的正则权重项作为模型的损失函数,并使用Adam优化算法对模型的参数进行更新.
FTVGG16网络在很大程度上能够克服训练的过拟合,收敛速度明显加快,训练时间明显减少,针对鱼类目标很小、背景干扰很强的图像,FTVGG16模型平均准确率为97郾66%,对部分鱼的平均识别准确率达到了99郾43%,模型具有较高的识别精度和鲁棒性.
(2)虽然FTVGG16模型在识别精度上达到了预期的效果,但是,实际运算过程中需要保存层与层之间的连接权重,会造成内存的负担,增大了计算成本,限制了系统响应.
可以进一步从深度模型压缩加速方面进行改进,主要从模型参数修剪和共享、低秩分解、迁移/压缩卷积滤波器和知识精炼[30]方面压缩模型,进而训练一个更加紧凑的神经网络,以再现大型网络的输出结果.
参考文献[1]摇STRACHANNJC,NESVADBAP,ALLENAR.
Fishspeciesrecognitionbyshapeanalysisofimages[J].
PatternRecognition,1990,23(5):539-544.
[2]摇LARSENR,OLAFSDOTTIRH,ERSB覫LLBK.
Shapeandtexturebasedclassificationoffishspecies[C]椅ScandinavianConferenceonImageAnalysis,2009,5575:745-749.
[3]摇HUANGPX,BOOMBJ,FISHERRB.
Underwaterlivefishrecognitionusingabalance鄄guaranteedoptimizedtree[C]椅AsianConferenceonComputerVision,2013,7724:422-433.
[4]摇吴一全,殷骏,戴一冕,等.
基于蜂群优化多核支持向量机的淡水鱼种类识别[J].
农业工程学报,2014,30(16):312-319.
WUYiquan,YINJun,DAIYimian,etal.
Identificationmethodoffreshwaterfishspeciesusingmulti鄄kernelsupportvectormachinewithbeecolonyoptimization[J].
TransactionsoftheCSAE,2014,30(16):312-319.
(inChinese)[5]摇杜伟东,李海森,魏玉阔,等.
基于SVM的决策融合鱼类识别方法[J].
哈尔滨工程大学学报,2015,36(5):623-627.
DUWeidong,LIHaisen,WEIYukuo,etal.
DecisionfusionfishidentificationusingSVManditsexperimentalstudy[J].
JournalofHarbinEngineeringUniversity,2015,36(5):623-627.
(inChinese)[6]摇PANSJ,YANGQ.
Asurveyontransferlearning[J].
IEEETransactionsonKnowledge&DataEngineering,2010,22(10):1345-1359.
[7]摇DENGL,YUD.
Deeplearning:methodsandapplications[J].
Foundations&TrendsinSignalProcessing,2014,7(3):197-387.
[8]摇LECUNY,BOTTOUL,BENGIOY,etal.
Gradient鄄basedlearningappliedtodocumentrecognition[J].
ProceedingsoftheIEEE,1998,86(11):2278-2324.
[9]摇ANDC,MEIERU,MASCIJ,etal.
Flexible,highperformanceconvolutionalneuralnetworksforimageclassification[C]椅Proceedingsofthe22ndInternationalJointConferenceonArtificialIntelligence,Barcelona,Catalonia,Spain,DBLP,2011:1237-1242.
[10]摇GEOFFREYH,LIDeng,DONGYu,etal.
Deepneuralnetworksforacousticmodelinginspeechrecognition:thesharedviewsoffourresearchgroups[J].
IEEESignalProcessingMagazine,2012,29(6):82-97.
[11]摇KRIZHEVSKYA,SUTSKEVERI,HINTONGE.
ImageNetclassificationwithdeepconvolutionalneuralnetworks[C]椅InternationalConferenceonNeuralInformationProcessingSystems.
CurranAssociatesInc,2012,12:1097-1105.
[12]摇刘德营,王家亮,林相泽,等.
基于卷积神经网络的白背飞虱识别方法[J/OL].
农业机械学报,2018,49(5):51-56.
032农摇业摇机摇械摇学摇报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇2019年LIUDeying,WANGJialiang,LINXiangze,etal.
AutomaticidentificationmethodforSogatellafurciferabasedonconvolutionneuralnetwork[J/OL].
TransactionsoftheChineseSocietyforAgriculturalMachinery,2018,49(5):51-56.
http:椅www.
j鄄csam.
org/jcsam/ch/reader/view_abstract.
aspxflag=1&file_no=20180506&journal_id=jcsam.
DOI:10.
6041/j.
issn.
1000鄄1298.
2018.
05.
006.
(inChinese)[13]摇傅隆生,冯亚利,ELKAMILT,等.
基于卷积神经网络的田间多簇猕猴桃图像识别方法[J].
农业工程学报,2018,34(2):205-211.
FULongsheng,FENGYali,ELKAMILT,etal.
Imagerecognitionmethodofmulti鄄clusterkiwifruitinfieldbasedonconvolutionalneuralnetworks[J].
TransactionsoftheCSAE,2018,34(2):205-211.
(inChinese)[14]摇张力超,马蓉,张垚鑫.
改进的LeNet5模型在苹果图像识别中的应用[J].
计算机工程与设计,2018,39(11):3570-3575.
ZHANGLichao,MARong,ZHANGYaoxin.
ApplicationofimprovedLeNet5modelinappleimagerecognition[J].
ComputerEngineeringandDesign,2018,39(11):3570-3575.
(inChinese)[15]摇王璨,武新慧,李志伟.
基于卷积神经网络提取多尺度分层特征识别玉米杂草[J].
农业工程学报,2018,34(5):144-151.
WANGCan,WUXinhui,LIZhiwei.
Recognitionofmaizeandweedbasedonmulti鄄scalehierarchicalfeaturesextractedbyconvolutionalneuralnetwork[J].
TransactionsoftheCSAE,2018,34(5):144-151.
(inChinese)[16]摇SIMONYANK,ZISSERMANA.
Verydeepconvolutionalnetworksforlarge鄄scaleimagerecognition[C]椅ComputerScience,2014:1-14.
[17]摇Thenatureconservancyfisheriesmonitoring[EB/OL].
https:椅www.
kaggle.
com/c/the鄄nature鄄conservancy鄄fisheries鄄monitoring.
[18]摇BAKHODAA,YUANGL,FUNGWWL,etal.
AnalyzingcudaworkloadsusingadetailedGPUsimulator[C]椅IEEEIntlSympPerformanceAnalysisofSystems&Software,2009:163-174.
[19]摇ABADIM,AGARWALA,BARHAMP,etal.
TensorFlow:large鄄scalemachinelearningonheterogeneoussystems[EB/OL].
http:椅download.
tensorflow.
org/paper/whitepaper2015.
pdf.
[20]摇HEKaiming,ZHANGXiangyu,RENShaoqing,etal.
Deepresiduallearningforimagerecognition[C]椅IEEEConferenceonComputerVisionandPatternRecognition,2015:770-778.
[21]摇IOFFES,SZEGEDYC.
Batchnormalization:acceleratingdeepnetworktrainingbyreducinginternalcovariateshift[C]椅InternationalConferenceonMachineLearning.
JMLR.
org,2015:448-456.
[22]摇SRIVASTAVAN,HINTONG,KRIZHEVSKYA,etal.
Dropout:asimplewaytopreventneuralnetworksfromoverfitting[J].
JournalofMachineLearningResearch,2014,15(1):1929-1958.
[23]摇HAHNLOSERRH,SARPESHKARR,MAHOWALDMA,etal.
Digitalselectionandanalogueamplificationcoexistinacortex鄄inspiredsiliconcircuit[J].
Nature,2000,405(6789):947-951.
[24]摇LIM,ZHANGT,CHENY,etal.
Efficientmini鄄batchtrainingforstochasticoptimization[C]椅ACMSigkddInternationalConferenceonKnowledgeDiscovery&DataMining.
ACM,2014:661-670.
[25]摇WONGWS,QINA.
Methodandapparatusforestablishingtopicwordclassesbasedonanentropycostfunctiontoretrievedocumentsrepresentedbythetopicwords:US6128613[P].
20001003.
[26]摇KINGMADP,BAJ.
Adam:amethodforstochasticoptimiztion[C]椅TheThirdInternationalConferenceforLearningRepresentations,SanDiego,2014:1-15.
[27]摇GENCAYR,QIM.
Pricingandhedgingderivativesecuritieswithneuralnetworks:Bayesianregularization,earlystopping,andbagging[J].
IEEETrans.
NeuralNetworks,2001,12(4):726-734.
[28]摇ZEILERMD,FERGUSR.
Visualizingandunderstandingconvolutionalnetworks[C]椅EuropeanConferenceonComputerVision,2014,8689:818-833.
[29]摇Flask[EB/OL].
http:椅flask.
pocoo.
org/.
[30]摇CHENGY,WANGD,ZHOUP,etal.
Modelcompressionandaccelerationfordeepneuralnetworks:theprinciples,progress,andchallenges[J].
IEEESignalProcessingMagazine,2018,35(1):126-136.
132第5期摇摇摇摇摇摇摇摇摇摇摇摇陈英义等:基于FTVGG16卷积神经网络的鱼类识别方法