计算机系统应用http://www.c-s-a.org.cn

2017年第26卷第6期254研究开发ResearchandDevelopment基于卷积神经网络的烟瘾渴求脑电分类①王艳娜,孙丙宇(中国科学院合肥智能机械研究所,合肥230031)(中国科学技术大学合肥物质研究院,合肥230031)摘要:脑电信号分类问题是脑-机接口应用中的重点,而脑电信号分类的关键问题是如何寻找合适的特征.
目前虽然有支持向量机、浅层神经网络等方法可以对脑电信号有效的分类,但是这些方法大都需要大量先验知识寻找数据的特征.
由于脑电信号容易受到噪声干扰,尤其是在烟瘾渴求这种高级认知过程中,不同被试个体间具有很大差异,很难找到具有代表性的有效特征,脑电分类的准确率很难提高.
为解决以上问题,本文采用一种基于卷积神经网络的方法对烟瘾患者在不同烟瘾渴求状态下的脑电信号的进行分类,与传统分类方法比,卷积神经网络不需要手动提取特征,能够直接训练原始的脑电信号数据,可以满足在实时反馈的烟瘾治疗过程对获取分类结果的快速需求.
关键词:卷积神经网络;深度学习;脑电信号;烟瘾渴求CigaretteCravingEEGClassificationBasedonConvolutionNeuralNetworksWANGYan-Na,SUNBing-Yu(InstituteofIntelligentMachine,ChineseAcademyofSciences,Hefei230031,China)(HefeiInstitutesofPhysicalScience,UniversityofScienceandTechnologyofChina,Hefei230031,China)Abstract:Electroencephalography(EEG)classificationisthekeypointofbrain-computerinterfaceapplication.
HowtofindeffectivefeatureisthemajorissuesinEEGclassification.
AlthoughseveraleffectivemethodslikesupportvectormachinesorneuralnetworkshavealreadybeenappliedtoEEGclassification,butthesemethodsneedalargeamountofpriorknowledgetofindthefeaturesofthedata.
Sincethebrainelectricalsignalappearstobemoresusceptibletonoiseinterferenceandtherearewideindividualdifferences,sothateffectivefeaturesaredifficulttobeenfound.
Meanwhile,itisdifficulttoimprovetheaccuracyoftheEEGclassification,especiallyintheadvancedcognitiveprocessinthecigarettecraving.
Inordertosolvethisproblem,weuseconvolutionneuralnetworks(CNN)toclassifyEEGofcigarettecravingpatientsunderdifferentstatusofcigarettecraving.
Comparedwiththetraditionalmethod,CNNdoesnotneedtomanuallyextractfeatures.
ItcandirectlytraintheoriginalEEGdata.
Moreimportantly,itcansatisfythedemandwhichistoobtainthereal-timefeedbackinthecigarettecravingtreatmentprocessforclassificationresults.
Keywords:convolutionneuralnetworks;deeplearning;electroencephalography;cigarettecraving1引言脑电信号(Electroencephalography,EEG)是记录人大脑活动最常用的方法,由此可以实现人脑和计算机之间的交流.
由于在大脑相应区域安放电极记录大脑神经活动产生的电信号可以反映大脑的功能状态,通过研究人体处于不同生理状态和不同脑功能状态时的脑电信号特征,可以了解大脑的不同工作机制.
脑电信号在认知心理学、生理学、精神病学等方面有广阔的学术价值和应用前景.
在实际应用中,经常利用脑电信号来实现人脑-计算机接口(BCI),人在不同认知活动时的脑电的不同,通过对脑电信号的有效特征提取和分类达到某些控制目的.
①基金项目:国家自然科学基金(31371340)收稿时间:2016-09-21;收到修改稿时间:2016-11-14[doi:10.
15888/j.
cnki.
csa.
005792]2017年第26卷第6期http://www.
c-s-a.
org.
cn计算机系统应用ResearchandDevelopment研究开发255脑电信号的分类问题是脑-机接口应用中的难点,而脑电信号分类的关键问题是如何寻找合适的特征.
目前,已有大量研究应用于脑电信号的分类中,例如基于支持向量机(SupportVectorMachine,SVM)的方法[1,2]、一般神经网络[3,4]和隐马尔可夫模型[5]等.
传统的机器学习方法大都需要大量先验知识寻找脑电信号的特征.
然而由于脑电信号容易受到噪声干扰,而且特定行为的脑电信号可能同时混合有其他行为产生的干扰.
尤其是在复杂的高级认知过程中,不同被试个体间具有很大差异性,很难找到具有代表性的有效特征.
因此脑电分类的精确度提高十分困难.
同传统方法相比,深度学习可以不需要很多先验知识以及手工提取特征,能够直接对复杂的数据逐级抽取特征.
近年来深度学习方法得到重视,并且应用于许多领域,在图像分类领域[6,7]、语音识别领域[8]得到了十分有效的应用.
考虑如何将深度学习的方法应用到脑电分类问题中,也成为脑-机接口研究中的热点.
已经有将深度学习模型应用在脑电信号分类中,并取得不错的结果[9,10].
本文主要关注烟瘾渴求高级认知过程中的脑电分类问题,采用深度学习中卷积神经网络对脑电信号进行分类实验,试图提高脑电分类的准确率和速度.
2基于CNN的烟瘾渴求脑电分类方法2.
1烟瘾渴求脑电信号的实验背景在烟瘾治疗中有一种生物反馈治疗法的尝试,通过记录烟瘾患者的脑电信号,进行处理分析后,将对烟瘾的渴求程度反馈给患者,使患者有意识的学习抑制自己的烟瘾渴求.
通过反复调节训练达到戒除烟瘾的效果,可以免除药物治疗带来的副作用.
但由于烟瘾渴求属于高级认知,脑电信号包含的信息更加复杂,分类的难度比较大.
本文的实验数据来源于中国科学技术大学脑功能实验室.
实验中共有13个被试,这些被试都具有2年以上烟瘾,每天吸烟数目大于10支,而且在三个月内没有接受过任何烟瘾治疗.
每个被试进行大约500次左右的实验,分别记录这些被试在看到能够引起烟瘾渴求的图片和不能引起渴求的图片后2秒内的脑电信号.
因为脑电信号的应激反应集中在被试看到图片后的1秒内,所以我们采用1秒内的数据进行分类识别.
实验中脑电信号由64个电极通道记录,脑电信号的采集频率为250Hz.
2.
2烟瘾渴求脑电数据处理烟瘾渴求实验得到的数据集共包括13个被试,其中每个被试约500个样本,样本平均分为两类:有渴求和无渴求两种状态.
实验记录的脑电信号常受到多种因素的干扰,例如基线漂移、眼动、白噪声等等.
首先采用0.
5-100Hz的滤波器对脑电信号进行滤波,除去脑电信号中的直流成分和高频噪声部分.
然后采用独立成分分析(IndependentComponentCorrelationAlgorithm,ICA)[11]去除眼动干扰,以上脑电信号的预处理采用EEGLAB工具箱处理[12].
由EEGLAB预处理后得到的脑电信号如图1所示.
每一个样本的脑电信号包含64个电极通道,每一个通道是一个随时间变化的电压信号.
图1脑电信号可视化时间采集频率为250Hz,本文采用0到1秒时间段内的信号作为实验的输入.
因此每一个样本数据可以表示为一个64*250的矩阵,每一行代表一个电极通道在1秒内的电压信号,共有64个电极通道.
图2电极位置分布图计算机系统应用http://www.
c-s-a.
org.
cn2017年第26卷第6期256研究开发ResearchandDevelopment采集脑电信号的64个电极在人头皮上的分布位置如图2所示.
考虑到电极位置的分布具有连续性,而空间分布相邻的电极信息组合起来可以共同反映一些脑部活动的信息,为了CNN可以方便识别这些信息,我们将每个电极通道与其距离最近的四个电极通道组合在一起输入来提取特征.
因此将原本大小为64*250的样本矩阵转化为大小为5*250*64的矩阵.
其中5*250代表每个电极通道与其距离最近的四个通道的组合.
然后对5*250*64的样本矩阵进行归一化处理,将数据映射到[-1,1]的范围内,作为CNN的输入矩阵.
每个样本对应一个标签,渴求或者无渴求两类.
CNN的输出为1为渴求状态,0为无渴求状态.
2.
3卷积神经网络结构CNN是一种具有特殊卷积结构的多层人工神经网络[13],一般包括多个卷积层、混合层和全连接输出层.
本文采用的CNN基本结构如图3所示.
图3CNN基本结构由于输入的样本矩阵大小为5*250*64,CNN模型的输入层设置为64个大小为5*250的矩阵.
在每个卷积层,先将输入数据矩阵与卷积核矩阵进行"卷积"运算,再进行非线性转换后输出,如下所示:TW,1nbiiihxfWXfwxb其中f是神经元非线性激活函数,b是偏置值,W是一个共享权重的矩阵,即卷积核,X为输入.
本文的非线性激活函数f采用Relu(Rectifiedlinearunit)函数[14],表达式为()max(0,)fxx.
混合层(pooling)通常跟在卷积层之后和卷积层成对出现.
混合层是一个类似下采样的过程,将卷积层输出的特征矩阵划分为多个不相交的小区域,用这些区域的某些特征,如最大值、平均值等,作为新的特征表示.
本文的混合操作采用平均值混合.
全连接层是卷积神经网络的最后一层,将前一个混合层的输出特征映射到输出层,完成分类.
输出层采用softmax分类器.
本文CNN输出1为渴求状态,0为无渴求状态.
设卷积神经网络的训练样本个数为m,输入为x,输出为y,卷积神经网络的层数为L层,中间包含若干对卷积层和混合层,网络最后一层的输出值为()ifx.
CNN网络的代价函数代价函数采用交叉熵形式表示为:'11log()miiiLyfxm脑电信号在采集时,不同时刻不同人之间都会有很大变化,对于这样复杂多变的信号,CNN卷积层的局部感知结构可以提取到信号的一些不变的初级特征,可以有效降低这些变化对结果的影响.
CNN的共享权重结构保证CNN可以在不同位置上提取到同样的特征,能够在位移变化上保持不变性.
因此脑电信号采集过程中电极的位置发生偏移或者被试反应快慢造成的时移,都不会导致提取特征的不同.
CNN混合层可以降低后边网络层的参数数量,而且使得数据具有平移不变性,脑电有小的位移时,提取到的特征不会变,另外某种程度上可以降低数据的噪声.
3实验过程使用CNN解决具体分类问题时,比较重要的工作是进行CNN结构参数和影响性能的超参数选择[15].
CNN的结构参数包括卷积层、混合层和全连接层的层数,每层卷积核的大小和卷积核的个数的选择等.
超参数主要有学习率,L2规范化参数λ,小批量数据(mini-batch)的大小,动量梯度下降中的动量等.
本文采用手动选取超参数的方法,初始训练时随机选择一些超参数组合进行尝试实验,然后根据结果逐个调整参数,慢慢提高性能.
为了提高反馈的速度,训练前期采用简化的网络,后期逐步增加网络的复杂度进行实验.
表1列出了实验中的几组CNN结构和一些需要进行选择的参数及取值范围,在训练数据集上通过多次交叉验证选出较优的参数.
本文的卷积神经网络训练过程采用带动量的小批量随机梯度下降法(Stochasticgradientdescent)[16],动量大小设置为0.
95,每次训练输入的小批量数据(mini-batch)大小设为90个样本.
为了降低网络规模,使网络更加稀疏化,在代价函数上增加一个对权重的L2正则化项.
如下所示:2'111log()()mLiiKiKLyfXsumWm2017年第26卷第6期http://www.
c-s-a.
org.
cn计算机系统应用ResearchandDevelopment研究开发257其中m为mini-batch的样本个数,卷积神经网络共有L层,最后一层输出为()ifX.
L2正则化项系数λ设为0.
5.
表1CNN结构参数选择范围卷积层个数每层卷积核大小个数混合窗口大小全连接层数全连接层节点数初始学习率A1[5,10~20]*1~20[1,2~5]110~1000.
002~0.
1B2[5,10~20]*1~20[1,10~20]*10~40[1,2~5][1,2~5]110~1000.
002~0.
1C3[5,10~20]*1~20[1,10~20]*10~40[1,10~20]*10~40[1,2~5][1,2~5][1,2~5]110~1000.
002~0.
1D2[1,10~20]*1~20[1,10~20]*10~40[1,2~5][1,2~5]210~10010~1000.
002~0.
1同时为了避免过拟合现象,在训练过程加入dropout的方法[17],即在训练过程中每次更新权重时随机让一部分隐藏层的节点的权重不更新,这里设置dropout的系数为0.
3.
训练开始时,每层的权重矩阵初始化为均值为0,标准差为1的高斯分布,偏差矩阵设为0.
4实验结果分析本文实验使用Matlab在中国科学院合肥研究院物质科学计算中心超算平台完成.
实验将数据的5/7作为训练集,1/7作为验证集,1/7作为测试集,实验重复多次,将测试集分类精度的平均值作为最终结果.
CNN在训练过程中的误差下降曲线如图4所示.
训练过程共迭代了180次,可以看到大约从120次开始训练集的误差开始趋于平稳.
图4CNN训练误差下降曲线本文主要目的在于检验卷积神经网络在烟瘾渴求脑电信号分类中的有效性,根据上节的实验设计,实验结果如表2所示.
表2CNN的分类结果被试预测准确率Subject10.
7473Subject10.
7473Subject20.
7019Subject30.
6891Subject40.
757Subject50.
7152Subject60.
5848Subject70.
7696Subject80.
7061Subject90.
7113Subject100.
6736Subject110.
7327Subject120.
6105Subject130.
7148将CNN方法和传统SVM方法[2]对烟瘾渴求脑电信号的分类结果进行比较,如图5所示.
其中选取脑电信号每个电极通道时间窗为300~350ms、370~460ms和470~600ms的均值作为SVM分类时的输入特征.
由图5实验结果对比可以得出,CNN的平均分类精度的优于SVM,总体上CNN的分类结果较好,但是个别被试的结果稍差.
同时发现CNN在不同被试之间预测率差异较大.
除此之外,从时间上来讲,CNN的训练过程计算量较大,模型建立过程比较耗时.
但是CNN在模型建立后应用于生物反馈治疗时能够很快的得到分类结果,因为CNN不需要太多人工处理数据提取特征的过程.
计算机系统应用http://www.
c-s-a.
org.
cn2017年第26卷第6期258研究开发ResearchandDevelopment图5CNN和SVM的实验结果对比5结论与展望本文采用基于CNN的方法对烟瘾渴求脑电进行分类,发现分类精度可以达到SVM等传统方法的水平.
而且如果用于生物反馈治疗过程中,CNN分类器可直接对得到数据进行分类,不需要太多人工处理,完全可以满足实时反馈的治疗过程对获取分类结果的快速需要.
SVM等传统的人工提取特征的方法在特征提取过程耗时会比较久,速度上很难达到要求.
除此之外,如果可以进一步提高CNN对脑电的分类结果,通过分析CNN在分类过程中自动提取的特征,可以帮助发现脑电信号网络空间上的一些未知信息,有助于人工特征选取.
参考文献1BlankertzB,CurioG,MullerKR.
ClassifyingsingletrialEEG:Towardsbraincomputerinterfacing.
AdvancesinNeuralInformationProcessingSystems,2002,(1):157–164.
2RakotomamonjyA,GuigueV.
BCIcompetitionIII:DatasetII-ensembleofSVMsforBCIP300speller.
IEEETrans.
onBiomedicalEngineering,2008,55(3):1147–1154.
3HaselsteinerE,PfurtschellerG.
Usingtime–dependentneuralnetworksforEEGclassification.
IEEETrans.
onRehabilitationEngineering,2000,8(4):457–463.
4MasicN,PfurtschellerG.
Neuralnetworkbasedclassificationofsingle-trialEEGdata.
ArtificialIntelligenceinMedicine,1993,5(6):503–513.
5ZhongS,GhoshJ.
HMMsandcoupledHMMsformulti-channelEEGclassification.
Proc.
oftheIEEEInternationalJointConferenceonNeuralNetworks.
2002,2.
1254–1159.
6BengioY,LeCunY.
ScalinglearningalgorithmstowardsAI,inLarge-ScaleKernelMachines,L.
Bottou,O.
Chapelle,D.
DeCosteandJ.
aWeston,Eds.
2007.
7SimardPY,SteinkrausD,PlattJC.
Bestpracticesforconvolutionalneuralnetworksappliedtovisualdocumentanalysis.
ICDAR.
2003,3.
958–962.
8SukittanonS,SurendranAC,PlattJC,etal.
Convolutionalnetworksforspeechdetection.
Interspeech.
2004.
9StoberS,CameronDJ,GrahnJA.
Doesthebeatgoon:Identifyingrhythmsfrombrainwavesrecordedaftertheirauditorypresentation.
Proc.
ofthe9thAudioMostly:AConferenceonInteractionWithSound.
ACM.
2014.
23.
10CecottiH,GraserA.
ConvolutionalneuralnetworksforP300detectionwithapplicationtobrain-computerinterfaces.
IEEETrans.
onPatternAnalysisandMachineIntelligence,2011,33(3):433–445.
11JungTP,MakeigS,WesterfieldM,etal.
Analysisandvisualizationofsingle-trialevent-relatedpotentials.
HumanBrainMapping,2001,14(3):166–185.
12DelormeA,MakeigS.
EEGLAB:Anopensourcetoolboxforanalysisofsingle-trialEEGdynamicsincludingindependentcomponentanalysis.
JournalofNeuroscienceMethods,2004,134(1):9–21.
13StoberS,CameronDJ,GrahnJA.
ClassifyingEEGrecordingsofrhythmperception.
ISMIR.
2014.
649–654.
14NairV,HintonGE.
Rectifiedlinearunitsimproverestrictedboltzmannmachines.
Proc.
ofthe27thInternationalConferenceonMachineLearning(ICML-10).
2010.
807–814.
15KrizhevskyA,SutskeverI,HintonGE.
Imagenetclassificationwithdeepconvolutionalneuralnetworks.
AdvancesinNeuralInformationProcessingSystems.
2012.
1097–1105.
16BottouL.
Stochasticgradientdescenttricks.
NeuralNetworks:TricksoftheTrade.
SpringerBerlinHeidelberg.
2012.
421–436.
17HintonGE,SrivastavaN,KrizhevskyA,etal.
Improvingneuralnetworksbypreventingco-adaptationoffeaturedetectors.
arXivpreprintarXiv:1207.
0580,2012.