卷积8639790_李朝阳_基于卷积神经网络的脑电信号时频分析理解_基于卷积神经网络的脑电信号时频分析理解V1.4-去除个人信息

摘要

脑机接口是人工智能的一项重要内容也是一种全新的大脑与计算机通讯的方式具有改变人机交互方式的巨大价值。近年来对于脑电信号的研究越来越成熟许多方法被应用于对运动想象中的脑电信号进行分类。然而卷积神经网络作为一门新兴起的技术在该领域上应用还比较少。本文探究了卷积神经网络在运动想象脑电信号分类上的应用。主要使用脑机接口竞赛IV2b数据集探索运动想象脑电信号分类任务。首先查阅了近年来的众多脑电信号分类模型对于传统机器学习的方法和深度学习的方法进行了分析然后在实用卷积神经网络的基础上加入深度可分离卷积构建了一个轻量级的卷积神经网络使用该模型将相关运动想象信息从脑电信号中提取出来并由此对脑电信号中的时频域特征进行进一步的理解,最后给出了模型进一步改进的思路。本文研究表明在对该数据集的运动想象脑电信号做二分类时本文所提出的卷积神经网络模型分类准确率为92.9%信息传输率能达到27.03比特每分钟取得了较好的效果。因此卷积神经网络能够对脑电信号的时频域特征做到很好的解码和分类。

关键词脑机接口卷积神经网络脑电信号解码

I

AB STRACT

The brain-computer interface is an important content of artificial intelligence,and also abrand-new way of brain-computer communication,which has great value in changing the wayof human-computer interaction. In recent years, research on EEG signals has become moreand more mature, and many methods have been applied to classify EEG signals in motorimagination.However, as a new technology, convolutional neural network CNN is stillrelatively few in this application.This article explores the application of convolutional neuralnetworks in the classification of motor imaging EEG signals.Mainly use the BCI competitionIV 2b data set to explore the task of motor imaging EEG signal classification.First Iconsultedmany EEG signal classification models in recent years, then I analyzed the traditionalmachine learning method and deep learning method. In addition, on the basis of practicalCNN, addingthedepthwise separable convolution to build a lightweight CNN, using thismodel to extractscorrelate relevant motion imagination informationfrom the EEG signals,andthus to further understand the time-frequency domain features in the EEG signals, finally givethe idea of further improvement of the model.The research in this paper shows that when themotor imaging EEG signals of this data set are classified into two categories, theclassification accuracy of the CNN model proposed in this paper is 92.9%, and theinformation transmission rate can reach 27.03 bits per minute.Achieved goodresults.Therefore, the CNN can decode and classify the EEG signals in the time-frequencydoma in.

Keywo rds Brain-Computer Interfaces CNN EEG de coder

II

目录

第一章绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.1研究背景和意义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1.2中外研究现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

1.3论文主要工作. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

1.4论文结构安排. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

第二章相关工作. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.1符号定义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.1.1 EEG数据与标签定义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.1.2分类器定义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.2传统的机器学习方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.2.1特征提取. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7

2.2.2分类模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

2.2.3机器学习的总结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

2.3深度学习方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

2.3.1深层、浅层卷积神经网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

2.3.2脑电图网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

2.3.3实用卷积神经网络. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

第三章基于EEG时频域特征的CNN模型设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

3.1 CNN模型设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

3.1.1短时傅里叶变换层. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11

3.1.2卷积神经网络层. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .12

3.1.3模型整体结构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

3.2传统机器学习模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

第四章实验与结果分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

4.1数据集. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

4.1.1数据介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

4.1.2数据预处理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .17

4.2评价指标. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19

4.2.1正确率. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19

4.2.2信息传输率. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19

4.3实验结果分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19

4.3.1实验细节. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .19

4.3.2模型评估. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .20

第五章总结与展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

5.1总结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

5.2展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .23

参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

致谢. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29

附录. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31

附录A模型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .31

第一章绪论

1.1研究背景和意义

大脑是高级神经中枢系统脑电信号EEG这种信号它反映了大脑神经元细胞集群有规律性、 自发性包含着非常重要的生理信息。脑机接口 B ra in-C o mp uterInter fac e s BC I的一个重要途径就是对采集的E EG进行进一步的处理和分析这为生物医学、临床病症提供重要依据。 E EG的使用是无创、快速的这也使得它成为BCI的首选方法。

图一-1使用传统机器学习算法时 BCI系统的流程。如果采用深度学习则无需手工提取特征。

通常情况下一个BCI系统由四个部分组成如图1-1所示信号采集信号预处理机器学习和发出控制指令。如果应用传统的机器学习算法则机器学习模块通常包括特征提取和分类/回归。如果应用深度学习算法特征提取和分类/回归也可以无缝集成到单个深度学习模型中。

目前深度学习已在众多应用程序中实现了最先进的性能而且无需手工提取特征。最近人们还针对BCI中的EEG分类问题提出了多种结构的深度学习模型包括卷积神经网络Convo lutio nal Neural Network CNN模型。

因此本文研究的是基于卷积神经网络的脑电信号时频域分析和模式识别通过该研究可以减少手工特征提取的工作量更加方便的使用C N N进行EEG理解以及分类为他人的相关研究提供一定的借鉴。

1

1.2中外研究现状

人工智能技术使得我们能够从人脑活动的EE G记录中提取信息 因此E EG在几个重要研究和应用领域中都发挥着至关重要的作用。例如机器学习技术是许多基于E EG的临床应用的B C I系统的核心组成部分。这样的系统已经允许严重瘫痪的人进行交流[1] 绘制图片[2]以及控制智真机器人[3] 。这样的系统还可以促进中风康复[4] 并可以用于治疗癫痫病[5] 有关潜在临床应用的更多示例请参见[6] 。此外用于脑信号分析包括E EG的机器学习技术已被越来越多地视为神经科学研究的新型工具[7–11] 。

然而尽管有许多令人印象深刻的进步的例子但是在从E EG提取信息的准确性方面仍存在相当大的改进空间因此有兴趣将机器学习领域应用到EEG解码和BCI领域。这种在机器学习方面取得进展的最新突出示例是CNN的应用尤其是在计算机视觉任务中。因此已经有大量工作开始研究CNN在脑信号解码方面的潜力[12–28] 。尽管如此有关使用C N N进行EEG分析的几个重要的方法学问题仍然存在如下所述并在本研究中解决。

CNN是一种人工神经网络可以通过使用卷积作为其关键组件来学习数据中的局部模式。卷积层的卷积层数各不相同从只有一个卷积层的浅层架构到成功的语音识别卷积层[29] 到数十层深的卷积层[30] 到具有1000多个层的非常深的架构例如最近开发的残差网络[31] 。

深度CNN可以首先从原始输入中提取局部的低层特征然后在更深的层中逐渐增加更多的全局和高层特征。例如深层CNN可以学习从原始图像中检测日益复杂的视觉特征例如边缘简单形状完整的对象 。在过去的几年中深层CNN在许多应用领域都获得了巨大的成功。与其他机器学习模型相比CNN既有优点也有缺点。CNN的优点包括它们非常适合端到端学习 即从原始数据中学习无需任何先验要素选择它们可很好地扩展到大型数据集并且它们可以利用自然信号中的分层结构。CNN的缺点包括它们可能会以高可信度输出错误预测可能需要大量的训练数据培训时间可能比简单的模型长并且涉及大量的超参数如层数或激活函数的类型不可解释性等。

EEG信号具有不同于CNN最成功的处理领域即图像的特征。与二维静态图像

2

相比 EE G信号是从三维头皮表面电极测量中获得的动态时间序列。此外 E EG信号的信号噪比相对较低。这些特性可以使端到端时尚有趣的学习功能对于E EG信号来说比图像更难。因此需要将来自计算机视觉领域的现有CNN体系结构进行改进使其适用用于E EG输入并针对更传统的特征提取方法严格评估由此产生的解码准确性。

最近人们还针对B C I中的E EG模式分类问题提出了多种深度学习模型特别是CNN模型。 Schirrmeister等[18]受共空间模式算法的启发设计了一个深度CNN模型

DeepCNN和一个浅层CNN模型Shallo wCNN来执行端到端EEG的解码。Lawhern等[14]提出了EEGN et它在多个BC I应用中展示了出色的性能。

对于使用从EEG提取的频谱图或其他特征作为输入的CNN研究[19,32–35]均达到

84的平均准确度。相比之下使用EEG信号值作为输入的CNN研究[14,18]的平均准确度为87。这与直觉相反直觉中在预处理阶段进行的工作越多分类将越准确。这表明了一个令人惊讶的结论 即未来的研究可能会通过直接将信号值发送到深度学习框架中来改善结果而不是花费更多时间进行预处理[36] 。

1.3论文主要工作

在本文中使用了一种新形式的时频域特征短时傅立叶变换被用于将运动想象

MotorI ma geryMI所产生的EEG时间序列数据转换为二维的时频域特征。该特征结合了从E EG信号中提取的时间频率和电极通道位置信息。

然后基于C N N模型对该特征进行分类。主要针对传统机器学习在EEG信号识别率较低 以及深度学习在该领域的解释困难问题提出了一个基于短时傅立叶变换特征提取和C N N模式识别的EEG分类模型。如图一-2所示。

3

图一-2CNN工作流程图

运用文献研究法并结合实验法。通过参阅各类现有文献与技术文档深入研究E EG时频域分析和理解的算法、卷积神经网络的结构等。再经过大量实验进行性能分析。具体研究方法为

 1 B C I-E EG数据采集与选择

交互听起来有些陌生有些抽象但是确是一个非常常见的过程。 比如我们日常使用鼠标键盘就是在与计算机进行交互。人机交互就是人与机器之间进行信息沟通的过程。

而BCI系统通过测量大脑活动的电信号并对其进行处理从而产生反映用户意图的控制信号。大多数BCI依赖于对大脑活动的电测量并依赖于放置在头部的传感器来测量这种活动。E EG是指用电极记录头皮的电活动。它是一种非常成熟的方法已经在临床和研究领域应用了几十年。通过B C I的人机交互实验我们就可以得到E EG数据。

2 E EG时频域特征提取算法

选择主流E EG时频域特征分析的几种思想对其进行代码实现在具有特征性问题的E EG时频域分析进行实验测试结合实验结果总结各种算法的性能并将各种算法进行对比探索在相同的EEG信号上哪一种方法对其分析效果更优并进一步对算法性能进行解释。

3 CNN模型的构建与调参

在原有的实验基础上结合对EEG时频域信号的理解 自定义新的CNN模型比

4

如修改激活函数修改网络层数设计具体实验对原实验进行优化分析实验结果是否对标准数据集的分类准确率有所提高。

由于E EG数据集通常不够大 因此过拟合问题非常容易出现在本领域中。对于这一问题可采取以下解决方法如指数线性单元、批归一化、调整学习率等。

本文的创新之处如下。

1) 高效性突破传统的机器学习方式减少手工设计特征的复杂性快速的完成EEG

分类问题。

2) 可解释性通过对时频域特征进行可视化可以更好的理解CNN模型对EEG领

域的深度学习过程做出理解。

3) 实时性本文提出的模型参数少在E EG分类中速度快延时低。用户可以通过

运动想象即可以控制光标、轮椅等物体给用户新鲜感。

1.4论文结构安排

本文探究了卷积神经网络在运动想象脑电信号分类上的应用。第一章是绪论介绍了研究背景首先说明了基于E EG的脑机接口应用已经越来越成熟接着介绍了研究现状介绍了今年来的研究趋势 即越来越趋向于用深度学习的方法进行脑机接口应用最后提出了本文的主要工作和创新点。第二章是相关工作进行了符号定义介绍了传统机器学习方法在脑机接口中的应用最后简单描述了近来较为流行的几种CNN结构。第三章介绍了本文卷积神经网络模型的设计过程。第四章主要介绍实验过程并对实验结果进行分析。第五章概括了本文的主要研究内容并且指出了未来还可引申的工作目标和方向。

5