基于模块化深度卷积神经网络的烟雾识别
程广涛 巩家昌 李建
摘要为提高烟雾识别准确率构建模块化深度卷积神经网络进行烟雾图像特征提取和识别。模块化结构使网络架构简单而灵活首先利用常见的深度卷积运算设计基本模块网络结构然后仅将模块网络与全连接层依次连接即可构建深度卷积神经网络使对烟雾图像的表达更加具体。利用数据增强技术扩充烟雾图像训练数据从而缓解烟雾识别中常见的过拟合问题。实验结果表明该方法在两个测试集上分别达到了96.56%和98.82%的检测率验证了该方法的有效性。
关键词烟雾识别;模块网络;卷积神经网络;数据增强
DOI 10. 11907/rjdk. 192553開放科学资源服务标识码OSID
中图分类号TP301 文献标识码A文章编号 1672-78002020003-0083-04
Smoke Recognition Based on Modular Deep Convolutional Neural Network
CHENG Guang-tao1 GONG J ia-chang2 LI Jian1
1 . Research and Development Center National Center for Fire EngineeringTechonology Tianj in 300381 China;2. Department of Audio-Visual InformationForensic Technology Criminal Investigation Police University of China Shenyang 110854 China
Abstract
In order to improve the accuracy of smoke recognition a modular deepconvolutional neural network is proposed for simultaneous features extractionand recognition of the smoke image. The modular structure makes the deep
network simpler and more flexible. Firstly the basic module networkstructure is designed by using the common deep convolution operation andthen the deep convolutional neual network can be constructed only byconnecting the modular networks with the full connection layers in turn toenhence the more abstract and concrete expression of the smoke image. Thedata augumentation technology is used to expand the training smoke images soas to alleviate the common over-fitting phenomenon in smoke recognition. Theexperimental results show that 96.56%and 98.82%of the detection rates arerespectively achieved in the two testing data sets which proves theeffectiveness of the method.
Key Words smoke recognition;modular network;convolutional neural network;dataaugumentat ion
0引言
随着我国安全城市、安全社区、智慧消防等全新理念的提出各种视频监控系统在大中城市得到了大规模应用利用视频图像分析技术解决烟雾检测问题受到多位学者关注[1- 2]。现有算法大多采用图像特征提取与分类器的流程框架不但可克服传统烟雾检测设备的不足而且适用性广、检测速度快、抗干扰能力强。
Chen等[3]通过分析烟雾色彩在RGB模型3个通道上的灰度值识别烟雾区域;Fuj iwara等[4]采用分形理论提取烟雾自相似性分形特征在图像中搜索烟雾目标;Yuan等[5]利用高阶局部二值化模式进行烟雾检测;Dubey等[6]为提取烟雾图像每个通道的LBPLocalBinary Pattern 特征提出了基于多通道LBP特征编码Multichannel Decoded LocalBinary Patterns MCLBP的烟雾识别方法;张洁等[7]结合纹理特征和轮廓光流信息进行烟雾识别;姚太伟等[8]结合烟雾的模糊特征和运动特征应用小波变换和稀疏光流进行烟雾识别;袁非牛等[9]提出一种基于Gabor滤波的层级结构实现多尺度、多方向的多
层纹理特征表达提高烟雾识别的综合效果;Tian等[10]通过图像分离方法提出一种基于融合图像的烟雾检测方法计算了烟雾和背景的融合图像采用优化方法求解烟雾不透明度;Yuan等[11]采用规则划分检测窗口的方式消除AdaBoo s t算法学习产生的形状依赖性从而提出一种鲁棒的视频烟雾特征。然而烟雾图像颜色、纹理、形状特征随着光照条件等因素变化而表现得异常不稳定现有算法仍然面临着高漏报率和高误报率的困扰。
深度卷积神经网络在医学图像分析、行人识别、情感分析等方面有着优异表现[12-
17]。借助卷积神经网络在图像特征表达上的优势本文设计模块化深度卷积神经网络Modular Deep Convolutional Neural Network MDCNN用于烟雾图像识别。它可以根据图像数据自动提取可靠特征并与图像分类操作统一在一个框架中。模块化设计使网格构建更加灵活通过减少超参数改进网络训练效率。同时本文进一步利用数据增强技术缓解模型过拟合问题提高训练模型泛化能力。
1MDCNN架构
本部分从3个方面阐述烟雾识别模块化深度卷积神经网络结构模块网络设计、基于模块网络的深度卷积神经网络构造、 网络训练。
1 .1模块网络
将深度卷积神经网络模块化使网络结构更加灵活减少网络训练超参数数量从而提高训练效率。本文设计的模块网络Module- [c]如图1所示包含卷积层、批规范化层Batch Normalization BN 、 ReLuRectified Linear Units 激活函数层和池化层。
1 卷积层是卷积神经网络的核心构造图像识别任务中的卷积通常是二维卷积即离散二维滤波器卷积核与二维图像作卷积操作使用二维滤波器在二维图像上所有像素点进行滑动与该像素点及其邻域像素点作内积。在深度卷积神经网络中通过卷
积操作可提取图像边缘与纹理等低级特征到复杂的抽象特征中。模块网络采用的卷积核大小为[3×3×c] 滑动步长为1 空间填充参数为1 保持特征图经过卷积操作后分辨率不变其中[c]为特征图通道数目。上述卷积操作在图1中使用Conv 3 1 1 [c] 标记。堆积[3×3]卷积核在增加特征表示能力的同时可降低参数数量。
2批量随机梯度下降法Mini-Batch Gradient Descent MBGD被广泛应用于深度卷积神经网络训练。在训练过程中随着网络深度加深深度卷积神经网络中神经元产生的数据逐渐发生偏移或变动导致数据漂移从而降低学习效率[18]。为了解决该问题批规范化Batch Normalization BN被提出用以规范化神经元产生的数据实现均值为0、标准差为1的标准正态分布从而避免梯度消失问题、提高训练效率。 目前BN已经成为深度卷积神经网络中的基本构件。
3 在神经网络中经常使用Sigmoid非线性激活函数[S x=11+e-x]和双曲正切非线性激活函数[tanhx=ex-e-xex+e-x]提高特征表达能力。在深度卷积神经网络中需使用梯度下降法迭代更新网络中的学习参数然而上述非线性激活函数容易产生梯度消失问题进而导致网络参数更新缓慢或更新失效。为了解决该问题ReLu激活函数[Rx=max0 x ]被广泛应用于深度卷积神经网络作为非线性激活函数它可以避免梯度消失问题使训练模型更快收敛。
4经过卷积层提取的特征维数非常高易造成过拟合问题且消耗计算资源。为解决该问题池化层一般被连接在卷积层后以降低卷积特征图分辨率。常见的池化方法有最大池化与平均池化它们分别在池化区域内取最大值和平均值。 由于最大池化方法抗干扰与抗图像平移性能较强因此选择最大池化方法池化区域大小为[2×2] 滑动步长为
2 这样池化层将特征图分辨率降低为原来的[14]。图1使用MaxPool ing标记上述最大池化操作。
1 .2模块化深度卷积网络
如表1所示构造的深度卷积神经网络包含3个模块网络 3个全连接层Fullconnected layer FC 网络输入是[48×48×3]的RGB图像对图像进行的唯一预处理是减均值操作其中均值由所有训练图像计算而得。顺次连接3个模块网络其中卷积操作Conv 3 1 1 [c] 的特征图通道数目[c]分别为64、 128、 128;然后连接3个全连接层前两个全连接层通道数为128 最后一个全连接层通道数为类别数2 因为烟雾数据样本产生过拟合频次较低前两个全连接层后分别采用参数为0.5的Dropou t操作
[19] 以降低过拟合风险;最后使用Sof tmax函数将网络输出归一化为概率值如式 1 所示。
1 .3网络训练
采用交叉熵损失函数计算训练深度卷积神经网络目标函数。
其中[n]表示训练样本个数 [y i ]表示第[ i ]个样本的标签 [p i ]表示第[ i ]个样本的预测结果。
使用批量梯度下降算法优化上述目标函数训练深度卷积神经网络参数变量批量大小設置为96 动量参数为0.9。训练过程利用权重下降进行正则化其中[L2]惩罚乘子设置为[10-5] 学习率设置为[10-2] 整个训练过程循环遍历训练数据集300次每经过100次时将学习率除以10进行更新学习率共被除以2次。网络权重初始化采用Kaiming初始化方法[20]。
2数据增强
深度卷积神经网络一般包含几百万个待学习的参数达到高识别率需提供大量训练图像。进行烟雾图像识别时存在的一个问题是烟雾图像训练数据不充分训练深度神经网络模型时易产生过拟合泛化能力差即训练的模型只对少量训练数据产生较好效果
而对验证集和测试集效果较差。数据增强技术是缓解过拟合的常用方法它基于现有少量训练数据集通过几何变换等操作达到扩充训练图像数据集的目的。本文数据增强方法包括水平翻转、垂直翻转和尺度变化通过数据增强技术产生的示例如图2所示。
3实验结果与分析
本文使用Pytorch深度学习框架构建和训练模块化深度卷积神经网络。实验在Windows10操作系统中运行PC机配置主频为3.40GHz的i7-3700 CPU处理器 16GRAM和Nvidia GTX 1080Ti GPU显卡。
3.1數据集
表2显示了江西财经大学袁非牛教授[9]研究组公开的4个数据集分别为
Set1、 Set2、 Set3和Set4。 Set1包含1 383张图像其中552张烟雾图像和831张非烟雾图像;Set2包含1 505张图像其中688张烟雾图像和817张非烟雾图像;Set3包含10712张图像其中2 201张烟雾图像和8 511张非烟雾图像;Set4包含10 617张图像其中2 254张烟雾图像和8 363张非烟雾图像。实验使用Set3作为训练数据集 Set4作为验证数据集 Set1和Set2为测试数据集。
3.2评估指标
使用检测率Detection Rate DR 、误报率False Alarm Rate FAR和准确率Accuracy Rate AR [3]作为烟雾识别方法的量化评价指标。
其中[Qp]和[Qn]分别是正、负样本数目 [Pp]表示正样本中被正确检测的数目 [Np]表示负样本中被错分为正样本的数目 [Nn]表示负样本中被正确检测的数目。算法目的是提高AR指标和DR指标同时使FAR指标更低。
3.3数据增强
采用水平翻转、垂直翻转和尺度变化3种数据增强技术 SetA表示在Set3基础上增强原有训练集中烟雾正样本保持原有负样本不变。增强的训练数据集如表3所示增强后训练数据中烟雾样本和非烟样本达到平衡状态。
3.4实验结果
不同烟雾识别算法的实验结果如表4所示表中加粗数字表示各指标下的最优值。
从3个方面讨论实验结果。
1 少量数据训练过拟合问题。表4中MDCNN-Set3表示MDCNN算法以原有训练数据集Set进行训练由于训练图像集烟雾图像数据不充分导致过拟合问题训练的模型泛化能力差因此测试集Set1和Set2上的实验结果指标还有待提高。
2数据增强技术对性能的影响。表4中MDCNN-SetA显示了MDCNN算法在增强后的数据集SetA上进行训练的实验结果。在Set1测试数据集上DR从94.38%提高到96.56%AR从97.11%提高到97.90%FAR从1 .08%降低到0.48%;在Set2测试数据集上DR从94.33%提高到98.82%AR从97.01%提高到98.55%FAR从0.73%降低到0.37%。从实验数据可以看到通过数据增强技术对训练数据集进行扩充可缓解过拟合问题增强训练模型泛化能力。
3 为展示利用深度卷积神经网络进行烟雾识别的优势将MDCNN方法与传统方法进行比较。传统烟雾检测方法包括特征提取和分类流程。利用纹理特征表示烟雾已被证明是有效的方式然后利用分类器支持向量机Support Vector Machine SVM进行识别验证。与基于纹理的烟雾检测方法MCLBP[6]进行结果比较MDCNN-SetA方法在Set1和Set2测试集上的DR、AR和FAR指标均表现更佳。
4结语
本文利用卷积层、批规范化层、非线性激活函数层和池化层构造模块网络然后将若干模块网络与全连接层顺次连接构成深度卷积神经网络进行烟雾图像特征提取和识别。针对烟雾识别问题中由于烟雾图像数据不足产生的过拟合现象采取水平翻转、垂直翻转和尺度变化数据增强技术扩充训练数据集进而提高训练模型泛化能力。实验结果表明数据增强处理后模块化深度卷积神经网络可提高检测率、降低误报率。下一步将着力研究烟雾图像全局特征提高烟雾识别性能。
月神科技怎么样?月神科技是由江西月神科技有限公司运营的一家自营云产品的IDC服务商,提供香港安畅、香港沙田、美国CERA、华中电信等机房资源,月神科技有自己的用户群和拥有创宇认证,并且也有电商企业将业务架设在月神科技的平台上。目前,香港CN2云服务器、洛杉矶CN2云主机、华中电信高防vps,月付20元起。点击进入:月神科技官方网站地址月神科技vps优惠信息:香港安畅CN2-GIA低至20元核心:2...
目前国内云计算市场竞争异常激烈,尤其是国内的腾讯云、阿里云、景安等商家促销活动一波接一波的进行,对于有需要的用户确实得到不小的实惠。但是这样给予国内的主机商确实是比较大的打击,毕竟这些商家的背景和实例强劲,即便是贴本补贴优惠,也是不怕的。前两年阿里一家各种活动促销,确实在国内市场占据主要的市场地位,腾讯云开始两年没有较大的吸引用户,不过这两年的发展还是比较稳健的。我们很多网友在之前肯定也享受到一些...
raksmart作为一家老牌美国机房总是被很多人问到raksmart香港服务器怎么样、raksmart好不好?其实,这也好理解。香港服务器离大陆最近、理论上是不需要备案的服务器里面速度最快的,被过多关注也就在情理之中了。本着为大家趟雷就是本站的光荣这一理念,拿了一台raksmart的香港独立服务器,简单做个测评,分享下实测的数据,仅供参考!官方网站:https://www.raksmart.com...