数据卷积神经网络

应用数学和力学编委会,ISSN10000887http://www.
applmathmech.
cn基于时间序列的混合神经网络数据融合算法张巧灵1,高淑萍1,何迪2,程孟菲1(1.
西安电子科技大学数学与统计学院,西安710126;2.
西安电子科技大学通信工程学院,西安710071)摘要:针对传统的数据融合算法对高噪声、大规模、数据结构复杂的时间序列数据融合性能较差的问题,该文提出了一种混合神经网络的数据融合算法(即SCLG算法).
SCLG算法的思想如下:首先利用奇异谱分析算法对数据分解重构以达到去噪的目的;其次,通过深层卷积神经网络提取数据的空间特征和短期时间特征;然后,利用长短期记忆(LSTM)网络和门控循环单元(GRU)网络双层网络,进一步深度提取了数据时间维度上的特征;最后,利用全连接网络,综合主要信息输出最终的决策.
通过SP&500和AQI数据集上的实验结果表明,该算法在融合性能及稳定性方面均优于DCNN、CNNLSTM、FDL数据融合算法.
关键词:数据融合;时间序列;奇异谱分析;混合神经网络;特征提取中图分类号:TP391;TP181文献标志码:ADOI:10.
21656/10000887.
410056AHybridNeuralNetworkDataFusionAlgorithmBasedonTimeSeriesZHANGQiaoling1,GAOShuping1,HEDi2,CHENGMengfei1(1.
SchoolofMathematicsandStatistics,XidianUniversity,Xi'an710126,P.
R.
China;2.
SchoolofTelecommunicationsEngineering,XidianUniversity,Xi'an710071,P.
R.
China)Abstract:Fortraditionaldatafusionalgorithms,thefusionperformanceofhighnoise,largescaleandcomplexstructuretimeseriesdataispoor.
Ahybridneuralnetworkdatafusionalgorithm(i.
e.
theSCLGalgorithm)wasproposedtosolvethisproblem.
Firstly,thetimeseriesdataweredecomposedandreconstructedwiththesingularspectrumanalysisalgorithmtoeliminatenoise.
Secondly,thespatialandshorttermcharacteristicsofthedatawereextractedbymeansofthedeepconvolutionalneuralnetwork.
Thirdly,thelongshorttermmemoryneuralnetworkandthegatedrecurrentunitneuralnetworkwereintroducedtoextractdatafeaturesinthetimedimension.
Finally,thefullyconnectedlayerwasappliedtointegratethemaininformationandoutputthefinaldecision.
TheexperimentalresultsfromtheSP&500andAQIdatasetsshowthat,theproposedalgorithmis28应用数学和力学42卷1期2021年1月AppliedMathematicsandMechanicsVol.
42,No.
1,Jan.
,2021收稿日期:20200219;修订日期:20200627基金项目:国家自然科学基金(91338115);111引智计划(B08038)作者简介:张巧灵(1992—),女,硕士生(Email:zql1048903596@163.
com);高淑萍(1963—),女,教授,博士,硕士生导师(通讯作者.
Email:gaosp@mail.
xidian.
edu.
cn).
引用格式:张巧灵,高淑萍,何迪,程孟菲.
基于时间序列的混合神经网络数据融合算法[J].
应用数学和力学,2021,42(1):8291.
superiortoDCNN,CNNLSTMandFDLintermsoffusionperformanceandstability.
Keywords:datafusion;timeseries;singularspectrumanalysis;hybridneuralnetwork;featureextraction引言时间序列数据是根据所观测客观对象的某些物理量在时间维度上的采样值排列组成的数据序列[1],普遍存在于医疗、金融、气候等领域[24].
相较于单变量时间序列,多变量数据来源方式的多样化使其含有更多的信息和模式,如何利用数据的关联、交叉和融合来实现数据价值的最大化,数据融合技术一直是科学界及工业界的研究热点[5].
数据融合将不同类型传感器测量的数据综合利用、特征提取与融合决策,形成对被观测对象的一致性描述,进而实现相应的决策[6].
近年来,时间序列数据呈现出大规模、高维度、高噪声、高非线性等特性,传统的数据融合算法由于其特征提取率低、时间开销大等问题,已逐渐不能满足人们的决策要求.
深度学习在机器翻译、语音识别等领域的成功,使人们注意到机器翻译和语音识别之间的内在相似性是基于数据的顺序性,这也激发了深度学习在时间序列数据融合中的应用,使得时间序列数据融合的研究前进了一大步.
深度学习方法通过组合简单且非线性的模块来获得特征,每个模块将一个层次上的特征转换为一个更高、更抽象层次上的特征,是一种自动学习特征的特征学习方法[7].
目前,许多基础的神经网络算法如深度信念网络[8]、卷积神经网络、长短期记忆(LSTM)网络等已被广泛应用.
众多学者在此网络结构基础上提出了一些改进的数据融合算法:如Kim和Cho[9]提出了一种可以自动提取时空特征的CNNLSTM融合算法;Ma等[10]提出一种基于注意力机制的时空依赖学习网络(STDLNet),该网络不仅在每个时间步长捕获有区别的、特定于样本的空间特征,还可以对多变量时间序列数据中的多尺度动态进行建模;Karim等[11]对LSTMFCN[12]和ALSTMFCN[12]网络进行了改进,在其全卷积网络层分别加入squeezeandexcitation块[13],形成了新的MLSTMFCN和MALSTMFCN网络,该网络体积小、效率高,可以快速地应用于实时系统和嵌入系统;Jing等[14]提出了一种可以自动地从原始数据学习特征,并且可以自适应地选择融合层次的DCNN算法;Gu等[15]提出FDL算法,采用基于熵的灰色关联度分析(EGRA)算法选择与融合决策高度相关的变量,利用LSTM和门控循环单元(GRU)网络提取数据的长短期记忆,从而给出决策.
虽然DCNN算法可以较好地学习原始数据的特征,但却无法捕捉到时间序列数据间的长时间依赖性.
FDL算法中的LSTM和GRU网络可以很好地提取数据间时间维度上的特征,然而利用EGRA提取空间特征在某种程度上会破坏数据全局信息,造成一定的信息丢失.
因此,本文首先利用奇异谱分析(SSA)算法[16]对时间序列数据去除高噪声的影响,然后结合DCNN和FDL算法的优势,提出了一种混合的神经网络模型,即SCLG算法.
该算法不仅可以去除数据高噪声的影响,克服DCNN算法未能处理长时间依赖性的缺点,还可以很好地弥补FDL算法的空间特征提取率低的不足.
1SCLG模型及其参数设置与训练1.
1奇异谱分析(SSA)SSA[16]是一种研究非线性多变量时间序列数据的强大方法.
SSA独立于信号模型,其通过对数据嵌入、奇异值分解、分组、对角平均化四个过程达到自适应降噪的效果,广泛应用于信号的去噪处理中[17],其算法步骤如下:步骤1(嵌入)将各传感器观测到的时间序列Yn=(yn1,yn2,…,ynT),ynm(m=1,2,…,T)为第n个传感器m时刻的测量值,分别转化为多维序列Xn1,Xn2,…,XnK,Xni=(yni,yni+1,…,yni+L-1),i=1,2,…,K.
得到轨迹矩阵:Xn=[Xn1,Xn2,…,XnK]=yn1yn2…ynKyn2yn3…ynK+1ynLynL+1…ynTéêêêêêêùúúúúúúL*K,(1)38第1期张巧灵,等:基于时间序列的混合神经网络数据融合算法其中L为嵌入维数(2≤L≤T),K=T-L+1.
通常L的选取不宜过大,不超过整个序列长度的1/3.
步骤2(奇异值分解)对Xn奇异值分解,可以表示如下:Xn=UL*LΔ000éêêùúúL*KVTK*K,(2)其中Δ=diag(σ1,σ2,…,σd),σd为Xn的正奇异值,从大到小排列,U,V分别为Xn的左奇异矩阵和右奇异矩阵.
步骤3(分组)将序列数据的有用信号成分和噪声分开,选取前r(r卷积神经网络(1DCNN)近年来,卷积神经网络凭借其强大的特征提取能力在自然语言处理、图像分类等应用领域取得了巨大突破[18].
1DCNN在处理一维模式,尤其是在信号的回归[19]、分类诊断[14]中效果显著.
卷积神经网络通过卷积操作在每个时间步长提取各种变量的组合来捕捉变量间的相关性,1DCNN的卷积操作如图1所示,X1,X2,…,Xt为输入数据,O1,O2,…,Ot-1为大小为3的滑动卷积核对输入数据执行卷积操作后得到的局部输出特征.
不同的卷积核会提取到不同的局部特征,为了更好地提取到全局特征,应选择合适的卷积核数量及大小.
卷积层参数共享(相同形式的箭头代表相同的滤波参数)的特点,使其参数量远远少于全连接层,从而训练较为容易.
1.
3长短期记忆(LSTM)网络和门控循环单元(GRU)网络循环神经网络(RNN)是一种可以对序列数据进行建模的网络结构.
LSTM[20]是RNN结构的多种变体之一,如图2(a)所示,其记忆单元主要由输入门、遗忘门、输出门组成:输入门it决定新输入的信息哪些被保存到记忆单元中;遗忘门ft决定记忆单元中信息的丢弃与保留;输出门Ot决定是否将记忆单元中的信息输出.
由于其独特的记忆单元,LSTM可以很好地解决序列长期依赖[21]和梯度消失问题.
输入门、遗忘门、输出门计算公式如下:ft=σ(Wf[ht-1,xt]+bf),it=σ(Wi[ht-1,xt]+bi),C-t=tanh(Wc[ht-1,xt]+bc),Ct=ftCt-1+itC-t,Ot=σ(Wo[ht-1,xt]+bo),ht=Ottanh(Ct),σ(x)=11+e-x,tanh(x)=ex-e-xex+e-x,ìí(5)48应用数学和力学2021年第42卷其中Wf,Wi,Wc,Wo是权重矩阵,bf,bi,bc,bo是偏差向量,Ct是记忆细胞,ht是t时刻隐藏层的输出序列,""为Hadamard积,σ和tanh为非线性激活函数.
图1一维卷积操作Fig.
1The1Dconvolutionoperation(a)LSTM(b)GRU图2记忆单元结构Fig.
2Thememoryunitstructure图3SCLG网络结构Fig.
3TheSCLGnetworkstructureGRU是LSTM的变体,其有较为简单的记忆单元.
如图2(b)所示,GRU记忆单元仅有复位门和更新门两个门:复位门rt控制需要忽略的前一时刻的状态信息的程度[15];更新门zt决定前面记忆量保留的多少.
GRU简单的记忆单元使其参数少于LSTM,性能与LSTM相当甚至更好于LSTM[15].
复位门、更新门的计算公式如下:58第1期张巧灵,等:基于时间序列的混合神经网络数据融合算法zt=σ(Wz[ht-1,xt]+bz),rt=σ(Wr[ht-1,xt]+br),h-t=tanh(Wa[rtht-1,xt]+ba),ht=(1-zt)ht-1+zth-t,ìí(6)其中Wz,Wr,Wa是权重矩阵,bz,br,ba是偏差向量.
1.
4SCLG模型SCLG模型由SSA操作、三个卷积层、一个LSTM层、一个GRU层和一个全连接层组成,其网络结构如图3所示.
通常情况下,传感器采集的数据噪声比较大,因此,首先利用SSA算法对各传感器数据进行去噪处理;由于不同传感器数据有着不同的单位和量级,为去除数据单位限制,利用最大值、最小值标准化将去噪后的数据统一映射到[0,1]区间上;然后将去噪标准化后的数据作为三层CNN的输入,CNN利用卷积操作在其浅层可以融合数据提取基本的空间特征,在其深层融合基本的空间特征提取更抽象的空间特征;将深层CNN中提取的抽象特征送入LSTM和GRU层,从而进一步深度地提取数据的长短期特征[15];最后利用全连接层,综合提取特征的关键信息输出最终决策,因其输出数据是标准化后的,因此将输出数据转换为原始数据量级作为该算法的最终输出.
表1SCLG网络参数设置Table1TheSCLGnetworkparameterssettinglayertypeparametervalue1SSAL=168,r=164234Conv1Conv2Conv3Nfilters=60,cs=2,padding='casual'a='LeakyReLU(0.
7)'56LSTMGRUNunits=100,a='tanh'7FCNunits=1,a='LeakyReLU(0.
7)'1.
5网络参数设置与训练SCLG网络中的超参数会影响最终的融合结果,常见的参数设置方法一般有试验法、网格搜索法、遗传算法[22]等.
本文基于一些通用的设计准则[1516,23],利用试验法找到最佳参数并使SCLG网络稳定,具体参数设置如表1.
其中,Nfilters表示卷积层滤波器的个数,cs表示卷积核的尺寸,a表示激活函数,Nunits表示神经元数量.
本文采用Adam优化算法,训练阶段使用平均绝对误差,共训练140轮,每批次训练40个样本.
初始学习率为0.
001,训练轮数每增加40轮,学习率变为原来的0.
1倍,可减少因轮数增加导致网络陷入局部最优的问题.
在卷积层中一般使用ReLU激活函数,但当输入值为负时,由于其导数为0,导致神经元无法学习,因此本文采用了ReLU激活函数的变体LeakyReLU激活函数,如式(7),解决了ReLU激活函数神经元不学习的问题:f(x)=x,x≥0,λx,x卷积神经网络的发展与应用综述[J].
信息通信,2019(2):3943.
(YUSonghua.
Thedevelopmentandapplicationofconvolutionalneuralnetworks[J].
Information&Communications,2019(2):3943.
(inChinese))[19]MALEKS,MELGANIF,BAZIY.
Onedimensionalconvolutionalneuralnetworksforspectroscopicsignalregression[J].
JournalofChemometrics,2018,32(5):e2977.
DOI:10.
1002/cem.
2977.
[20]HOCHREITERS,SCHMIDHUBERJ.
Longshorttermmemory[J].
NeuralComputation,1997,9(8):17351780.
[21]HUANGCJ,KUOPH.
AdeepCNNLSTMmodelforparticulatematter(PM2.
5)forecastinginsmartcities[J].
Sensors,2018,18(7):2220.
[22]SAGHEERA,KOTBM.
TimeseriesforecastingofpetroleumproductionusingdeepLSTMrecurrentnetworks[J].
Neurocomputing,2019,323:203213.
[23]ABDELHAMIDO,DENGL,YUD.
Exploringconvolutionalneuralnetworkstructuresandoptimizationtechniquesforspeechrecognition[C]//Interspeech2013.
Lyon,France,2013:11731175.
[24]WEIB,JUNY,RAOYL,etal.
Adeeplearningframeworkforfinancialtimeseriesusingstackedautoencodersandlongshorttermmemory[J].
PlosOne,2017,12(7):124.
19第1期张巧灵,等:基于时间序列的混合神经网络数据融合算法