样本贝尔金路由器设置

第36卷第12期自动化学报Vol.
36,No.
122010年12月ACTAAUTOMATICASINICADecember,2010基于语境距离度量的拉普拉斯最大间距判别准则皋军1,2王士同1王晓明3摘要线性拉普拉斯判别准则(LinearLaplaciandiscrimination,LLD)作为一种非线性特征提取方法得到了较为成功的运用.
然而通过分析得知在具体使用LLD方法的过程中还会面临小样本以及如何确定原始样本空间类型的问题.
因此,本文引入语境距离度量并结合最大间距判别准则的基本原理提出一种基于语境距离度量的拉普拉斯最大间距判别准则(Contextual-distancemetricbasedLaplacianmaximummargincriterion,CLMMC).
该准则不但在一定程度上避免小样本问题,而且由于语境距离度量更关注输入样本簇内在的本质结构而不是原始样本空间的类型,从而降低了该准则对特定样本空间的依赖程度.
同时通过引入计算语境距离度量的新算法并结合QR分解的基本原理,使得CLMMC在处理高维矢量模式数据时更具适应性和效率.
并从理论上讨论CLMMC准则具有的基本性质以及与LLD准则的内在联系.
实验证明CLMMC准则具有上述优势.
关键词线性拉普拉斯判别准则,语境距离度量,最大间距判别准则,QR分解DOI10.
3724/SP.
J.
1004.
2010.
01661Contextual-distanceMetricBasedLaplacianMaximumMarginCriterionGAOJun1,2WANGShi-Tong1WANGXiao-Ming3AbstractLinearLaplaciandiscrimination(LLD)asanon-linearfeatureextractionmethodhasobtainedveryextensiveapplications.
However,LDDsuersfromthesmallsamplesizeproblem(SSS)and/orthetypeofthesamplespacewhenitisused.
Inordertocircumventsuchshortcomings,acontextual-distancemetricbasedLaplacianmaximummargincriterion(CLMMC)isproposedinthispaperbyusingcontextual-distancemetricandintegratingmaximummargaincriterion(MMC)intotheLLD.
Theproposedcriterioncanobviouslydecreasethedependenceonthesamplespacesincethecontextual-distancemetricfocusesmoreonintrinsicstructureofaclusterofsamplesthanonitstype.
Anditisofhigheradaptabilityandeciencytousethenewalgorithmtocomputecontextual-distancemetricandapplyingQR-discompositionwhenhigh-dimensionalvectordataaredealtwith.
ThebasicpropertiesofCLMMCanditsrelationtoLLDarealsodiscussed.
TheexperimentalresultsindicatetheaboveadvantagesoftheCLMMC.
KeywordsLinearLaplaciandiscrimination(LLD),contextual-distancemetric,maximummargincriterion(MMC),QR-discomposition特征提取作为一种有效的降维方法在模式识别、计算机视觉和数据挖掘中得到了成功的运用.
所谓特征提取就是将高维特征空间通过变换转化为相应的低维表示空间[1],而该低维空间要尽可能地保持原有空间的判别信息.
目前主成分分析(Principalcomponentanalysis,PCA)[25]和线性判别分析(Lineardiscriminationanalysis,LDA)[68]作为两种比较经典的特征提取方法被广收稿日期2009-09-25录用日期2010-09-15ManuscriptreceivedSeptember25,2009;acceptedSeptember15,2010国家自然科学基金(60773206,60903100,90820002),江苏省普通高校研究生科研创新计划(CX09B-175Z),盐城工学院应用基础研究项目(XKY2009070)资助SupportedbyNationalNaturalScienceFoundationofChina(60773206,60903100,90820002),JiangsuProvincialInnovationProjectofGraduateStudentsofChina(CX09B-175Z),andAp-pliedBasicResearchProgramsofYanchengInstituteofTech-nology(XKY2009070)1.
江南大学物联网学院无锡2141222.
盐城工学院信息工程学院盐城2240013.
西华大学数学与计算机学院成都6100391.
SchoolofInternetofThings,JiangnanUniversity,Wuxi2141222.
SchoolofInformationEngineering,YanchengInsti-tuteofTechnology,Yancheng2240013.
SchoolofMathemat-icsandComputerEngineer,XihuaUniversity,Chengdu610039泛地加以研究.
PCA方法作为一种无监督的方法主要是依据所构造的协方差矩阵去选取能保持样本全局信息的主元(即一组相互正交的基底),并通过这些主元实现原始样本空间的低维投影.
比如:在人脸识别领域基于PCA基本原理的特征脸方法(Eignfacesmethod)[910]就可以有效地解决高维空间低维嵌入的问题.
而LDA作为一种有监督的特征提取方法在充分使用类标号的前提下,依据最大化类间离散度同时最小化类内离散度原则来得到原始高维特征空间的低维投影,从而LDA方法与PCA方法相比更有利于模型化不同类别样本所具有的潜在结构和特征.
然而,LDA方法在处理高维小样本数据时会导致类内散度矩阵发生奇异,即所谓的小样本问题(Smallsamplesizeproblem,SSS),从而影响了LDA方法的特征提取能力.
为了解决这一问题,提高LDA方法的泛化能力,目前已有大量的解决方法,比如:Fisher脸方法(Fisherfacesmethod)[1112]、P-LDA(PerturbationLDA)[13]、BDMSD(Biometricdispersionmatcherwithsimultaneouslydiagonal-1662自动化学报36卷ization)[14]、PCA+LDA[15]、2DFLD[16]、DLA[17],特别是一些基于最大间距原则的方法:最大散度差判别准则[18]、最大间距判别准则(Maximummar-gincriterion,MMC)[19]和规范化的最大间距判别准则(Regularizedmaximummargincriterion,RMMC)[20]等,该类方法则是通过将传统的LDA方法的比率形式转换成差的形式,这样就很容易解决小样本问题,同时与其他方法相比具有相对较低的时间复杂度[21].
相对于非线性特征提取方法,上述线性方法并不能发现样本空间蕴含的非线性结构.
目前非线性方法主要存在两类:一类是基于核的方法,比如KernelPCA(KPCA)[2223]、局部非线性鉴别准则(LocalizedkernelFishercriterion,LKFC)[24]、KernelRMMC[20]等;另一类基于流形(Modild)的学习方法,比如Tenenbaum等提出的等距特征影射(Isometricfeaturemapping,isomap)[25]、Roweis等提出的局部线性嵌入(Lo-callylinearembedding,LLE)[26]、Belkin等提出的拉普拉斯特征映射(Laplacianeigenmap,LE)[27]等.
特别是He等提出的局部保持投影(Local-itypreservingprojections,LPP)[28]流形学习方法.
LPP可以看成LE的线性形式,该方法不但能有效保持样本内在的局部几何结构,还能在低维的表示空间提供显式的嵌入映射函数.
不幸的是LPP方法同样面临着小样本问题,为此,在基于LPP、MMC基本原理的前提下,文献[2930]分别提出了无监督的局部保持最大信息投影(Locality-preservedmaximuminformationprojection,LPMIP)和有监督的拉普拉斯双向最大间距判别(Laplacianbidi-rectionalmaximummargincriterion,LBMMC).
虽然以上各种子空间学习方法都表现出一定的有效性,但通过研究发现上述方法都是使用传统的l2范数作为距离度量,从而在一定程度上假设原始样本空间是欧几里德空间(即欧氏空间).
然而并不是所有的原始样本空间都是欧几里德空间,比如在计算机视觉中使用直方图表示的样本空间和非线性黎曼流形空间就属于非欧几里德空间.
因此在非欧几里德空间还使用l2范数作为距离度量显然是不合适的.
为了在一定程度上降低距离度量对原始样本空间的依赖,Zhao等结合LE、LPP和LDA基本原理提出了一种新颖的特征提取方法:线性拉普拉斯判别准则(LinearLaplaciandiscrimination,LLD)[31].
LLD作为一种非线性的特征提取方法[32],则是通过对类内散度和类间散度分别加权的方式来弱化距离度量对原始样本空间的依赖,从而提高了特征提取方法的泛化能力.
然而LLD准则中距离度量虽然具有较强的泛化能力,但还属于样本间标准的距离函数,也就是说在实际使用LLD方法时还需要首先确定原始样本空间类型,并根据相应空间类型去寻找适合的距离度量,但LLD并没有提供如何确定原始样本空间类型的方法.
同时LLD方法同LDA方法一样也存在着小样本问题,虽然Zhang等提出的张量线性拉普拉斯判别准则(TensorlinearLaplaciandiscrimination,TLLD)[32]可以在一定程度上避免LLD的小样本问题,但TLLD属于张量方法,其特征提取的效果往往要依据相应的张量模式,特别是对于一些矢量表示的高维数据(比如基因数据)如何张量化以及张量方法与相应的矢量方法相比是否具有更好的特征提取能力都是有待讨论的问题[33].
近来语境距离度量(Contextual-distancemetric)作为一种新的距离度量得到了较为成功的应用[3236],其实语境距离并不是真正意义上的距离概念,而反映的是样本间的不相似性,同时由于语境集(Contextualset)的存在将导致样本间的语境距离是不对称的.
语境距离度量关注的是样本对数据簇结构的贡献程度,如果两个样本相对于同一个簇结构的贡献程度相当,则说明样本间的不相似性较小,即语境距离较小,反之则较大,而且数据的簇结构一般是不依赖于特定输入样本空间类型的[3435],因此语境距离度量更具有广泛性.
因此,本文依据LLD方法提出基于语境距离度量的拉普拉斯最大间距准则(Contextual-distancemetricbasedLaplacianmaximummargincrite-rion,CLMMC),该方法具有以下几点优势:1)CLMMC方法不但继承了LLD方法具有的非线性特征提取能力,同时还能有效地解决LLD方法的小样本问题,而且还实现了MMC方法的非线性学习能力;2)CLMMC方法由于引入了语境距离度量使得该方法相对独立于原始空间的空间类型,提高了特征提取的泛化能力,同时引入新的语境距离形式使得在处理高维矢量数据时更具适应性;3)CLMMC方法结合QR分解技术从而提高了处理高维矢量数据的效率;4)CLMMC方法还从理论上讨论了与LLD方法内在的联系,本文的内容安排如下:第1节简单介绍LLD方法;第2节重点讨论本文的CLMMC方法;第3节讨论CLMMC方法的权值设定;第4节对CLMMC进行实验研究;第5节总结全文以及提出未来期待解决的问题.
1线性拉普拉斯判别准则:LLD对于任意D维的原始样本空间MD包含有n个样本的样本集X=[xxx1,xxx2,xxxn],其中,该12期皋军等:基于语境距离度量的拉普拉斯最大间距判别准则1663样本集被分成c类,第s=1,c类记为Xs=[xxxs1,xxxs2,xxxscs],LLD准则的目的就是通过寻找相应的变换矩阵U使得样本集被嵌入到低维的欧氏子空间Y=[yyy1,yyy2,yyyn],即yyyi=UTxxxi(1)因此,为了得到更有效的变换矩阵U,LLD方法使用泛化的距离度量作为权值来定义新的类内散度和类间散度.
定义1[31].
假设αs是第s类所对应的类内散度,则LLD的类内散度α为α=cs=1αs=cs=1csi=1ωsiyyysiyyys=cs=1csi=1expxxxsixxxsMDσyyysiyyys(2)其中,·MD表示任意输入样本空间MD距离度量,·表示欧氏空间的l2范数,σ是自由变量.
如果将式(1)代入式(2)就可以得到LLD类内散度的另外一种比较直观的形式:α=cs=1αs=cs=1csi=1ωsiyyysiyyys=UTHwU(3)其中,Hw=cs=1csi=1ωsi(xxxsixxxs)(xxxsixxx)T为类内散度矩阵.
同样可以定义LLD准则的类间离散度β为[31]:β=cs=1ωsyyysyyy=cs=1expxxxsxxxMDσyyysyyy=UTHbU(4)其中,Hb=cs=1ωs(xxxsxxx)(xxxsxxx)T为类间散度矩阵.
根据式(3)和(4)可以得到LLD判别准则[31]:argmaxUTU=IdJ(U)=argmaxUTU=IdUTHbUUTHwU(5)其中,Id=diag{1,1d}.
从LLD的类内散度、类间散度定义可以看出,当自由变量σ=+∞时,判别准则就退化为LDA[31];同时由于LLD准则在处理原始样本间距离时使用了距离度量·MD,而该距离度量是不依赖具体原始样本空间类型的,从而大大降低了原始样本间距离度量对输入样本空间类型的依赖程度,并且在一些非线性空间进行距离学习时,该距离度量还可以自动地将原始样本进行非线性映射[31],实现LLD非线性学习能力,因此LLD准则是一种具有较强泛化能力的非线性特征提取方法.
然而,LLD方法也存在一些问题:1)LLD准则并没有提供根据原始样本特征去确定相应空间类型的方法.
这是因为在使用LLD方法处理实际问题时还是需要首先确定原始样本空间的空间类型,并根据相应的空间类型去选择适当的距离度量,这样才能保证较好的特征提取能力.
比如文献[31]在测试LLD算法时,就首先确定原始样本空间属于非欧氏空间,并选择适合该空间类型的距离度量:χ2距离,因此取得了较好的非线性特征提取效果;2)LLD方法同LDA一样都面临小样本问题,即在处理小样本高维数据集时容易导致矩阵发生奇异.
因此,本文提出基于语境距离度量拉普拉斯最大间距判别准则(Contextual-distancebasedLaplacianmaximummargincriterion,CLMMC),该方法由于使用最大间距准则,从而在一定程度上避免了LLD方法具有的小样本问题;同时CLMMC准则中使用语境距离度量替换LLD中的·MD度量,由于语境距离度量更关注原始样本簇的本质结构而并不注重原始样本空间的类型[3435],从而在一定程度上保证了CLMMC准则与原始样本空间类型的相对独立性,于是较好地解决了在实际使用LLD准则过程中需要确定原始样本空间类型的问题;通过引入新的语境距离度量计算形式并结合QR分解基本原理,使得CLMMC准则在处理高维矢量数据时更具适应性和效率.
2基于语境距离度量的拉普拉斯最大间距判别准则:CLMMC2.
1CLMMC准则由于在CLMMC准则中引入了语境距离度量,因此本文重新定义类内散度α、类间散度β如下:α=cs=1αs=cs=1csi=1ωsiyyysiyyys=cs=1csi=1expp(xxxsi→xxxs)2σwyyysiyyys=UTHwU(6)β=cs=1ωsyyysyyy=cs=1expp(xxxs→xxx)2σbyyysyyy=UTHbU(7)1664自动化学报36卷其中,Hw=cs=1csi=1ωsi(xxxsixxxxxxxxxs)(xxxsixxxxxxxxxs)T,Hb=cs=1ωs(xxxsxxx)(xxxsxxx)T为半正定矩阵.
需要说明的是上述定义中虽然使用的符号与LLD准则中的符号相同,但由于在CLMMC中使用了语境距离度量p(xxxi→xxxj),因此具体内容和直观含义是明显不同的.
至于式(6)和(7)中的语境度量的设定将在第3节详细讨论.
由此,根据式(6)和(7)定义的类内散度、类间散度,就可以得到CLMMC判别准则.
定义2.
设γ∈[0,1]是一实数变量,则CLMMC判别准则为argmaxUTU=IdJ(U)=argmaxUTU=Idγβ(1γ)α=argmaxUTU=IdUT(γHb(1γ)Hw)U(8)其中,Id=diag{1,1d}.
为了求解式(8),我们使用拉格朗日乘数法来构造式(8)相对应的拉格朗日函数:L(vvv,λ)=vvvT(γHb(1γ)Hw)vvvλ(vvvTvvv1)(9)要想式(8)成立,就必须有:Lvvv=0(10)即有下式成立:(γHb(1γ)Hw)vvv=λvvv(11)因此,CLMMC准则的变换矩阵U就是通过选取γHb(1γ)Hw矩阵d个最大特征值对应的正交特征单位向量vvv1,vvv2,vvvd组成的,即U=[vvv1,vvvd].
根据定义2可知,CLMMC准则中参数γ起到了权衡Hb与Hw的作用,从而表明变换矩阵U实质上是关于参数γ的函数.
因此,本文结合文献[18]的相关知识和方法从理论上讨论参数γ对CLMMC准则的影响.
为了便于讨论我们首先将式(8)表示成参数γ的函数形式:φ(γ)=vvv(γ)T(γHb(1γ)Hw)vvv(γ)=maxvvvTvvv=1vvvT(γHb(1γ)Hw)vvv(12)定理1.
φ(γ)是γ的单调增函数,特别是当Hw非奇异时,φ(γ)是严格单调增函数.
证明.
设γ1,γ2∈[0,1]且γ1>γ2,vvv1和vvv2分别为γ1Hb(1γ1)Hw、γ2Hb(1γ2)Hw最大特征值对应的单位特征向量.
则:φ(γ1)=vvvT1(γ1Hb(1γ1)Hw)vvv1≥vvvT2(γ1Hb(1γ1)Hw)vvv2=γ1vvvT2Hb1γ11Hwvvv2=γ1vvvT2Hb1γ21Hwvvv2+1γ21γ1vvvT2Hwvvv2=γ1γ2vvvT2(γ2Hb(1γ2)Hw)vvv2+1γ2γ1vvvT2Hwvvv2=γ1γ2φ(γ2)+1γ2γ1vvvT2Hwvvv2∵γ1>γ2,Hw是半正定矩阵∴1γ2γ1vvvT2Hwvvv2≥0(13)∴φ(γ1)≥φ(γ2)(14)根据式(14)得φ(γ)是γ的单调增函数.
如果Hw非奇异,则(1γ2/γ1)vvvT2Hwvvv2>0,有φ(γ1)>φ(γ2)严格成立,所以φ(γ)是γ的严格单调增函数.
根据定理1,我们可以得到φ(γ)的取值范围,假设类内散度矩阵的最小特征值为λ,类间散度矩阵的最大特征值为λ,则φ(γ)∈[λ,λ].
特别地,对于γ∈[0,1]有下式成立:λ≤φ(γ)≤γλ(1γ)λ(15)定理2.
φ(γ)是关于γ的一个连续函数.
证明.
根据连续函数的定义:假设任意给定γc∈[0,1],对任意ε>0,存在一个δ>0,如果γ满足|γγc|0,并代入式(17),则有|φ(γ)φ(γc)|<ε,所以定理成立.
定理3.
在CLMMC准则中,当Hw非奇异时必定存在唯一的一个γp∈[0,1],使得LLD准则对12期皋军等:基于语境距离度量的拉普拉斯最大间距判别准则1665应的最优鉴别矢量即为φ(γp)所对应的单位特征向量.
证明.
根据LLD准则,令c=argmaxvvvTvvv=1vvvTHbvvv/(vvvTHwvvv)=λ/λ=vvvTHbvvv/(vvvTHwvvv),因此对于任意单位向量vvv,都有vvvTHbvvv/(vvvTHwvvv)≤λ/λ,因此,取γp=λ/(λ+λ),则:γpvvvTHbvvv(1γp)vvvTHwvvv=λλ+λvvvTHbvvvT1λλ+λvvvTHwvvv=(18)λλ+λvvvTHbvvvλλvvvTHwvvv(19)根据LLD准则,因为vvv是最大特征值λ/λ所对应的单位特征向量,因此对任意单位向量vvv并结合式(19)都有:λλ+λ[vvvTHbvvvλλvvvTHwvvv]≥λλ+λ[vvvTHbvvvλλvvvTHwvvv]=λλ+λvvvTHbvvv1λλ+λvvvTHwvvv(20)根据式(20),显然式(18)等号左边即为φ(γp),vvv即为φ(γp)对应的单位特征向量.
同时因为Hw非奇异,则根据定理1和定理2,γp是唯一的.
需要说明的是,在定理3中提到的LLD方法所对应的权值已经发生了变化,即使用了式(6)和式(7)中定义的权值来代替,是一种基于语境距离度量的LLD,从而我们将这种基于语境距离度量的LLD记为CL-LLD.
2.
2CLMMC准则的QR分解法从式(11)可以看出,CLMMC准则关键就是要求解矩阵γHb(1γ)Hw的d个最大特征值所对应的单位特征向量.
然而当原始样本空间MD呈现高维状态时,即维数D比较大,求解上述矩阵的特征值具有较高的时间复杂度(O(D3)),为此将QR分解方法引入到CLMMC准则中以降低求解特征值的时间复杂度.
为了便于QR分解,本文使用文献[31]中的方法分别将式(6)和式(7)写成关于"迹运算"的等价形式,即转换成具有拉普拉斯矩阵的形式.
如果令X=[xxx11,xxx1c1xxxs1,xxxscsxxxc1,xxxccc],Ws=diag{ωs1,ωscs},Wb=diag{ω1ωc},eeecs=[1,1cs],eeec=[1,1c],则:α=tr(UTXLwXTU)(21)其中,Lw=diag{L1,Ls,Lc},Ls=Ws2Wseeecs(eeecs)T/cs+(eeecs)TWseeecseeecs(eeecs)T/c2s.
β=tr(UTXBLbBTXTU)(22)其中,B=diag{eeec1/c1,eeecc/cc},Lb=Wb2Wbeeec(eeec)T/c+(eeec)TWbeeeceeec(eeec)T/c2.
由式(21)和式(22),CLMMC准则目标函数的拉普拉斯形式为argmaxUTU=IdJ(U)=argmaxUTU=Idtr(UTXLXTU)(23)其中,Id=diag{1,1d},L=γBLbBT(1γ)Lw.
根据文献[29],可以得到X=QR,其中Q∈MD*r由一组正交列向量组成,R∈Mr*n是上三角矩阵,r=rank(X).
由文献[29]的定理1可知,求解式(23)可以转化为求解下式:argmaxZTZ=IdJ(Z)=argmaxZTZ=IdZTRLRTZ(24)并且式(23)中的U与式(24)中的Z的关系为:U=QZ.
上述QR分解方法表明,求解矩阵XLXT的d个最大特征值所对应的单位特征向量转换成求解矩阵RLRT的d个最大特征值所对应的单位特征向量,这样做的好处就是使得原方法的时间复杂度降低为O(r3),特别相对于高维小样本数据更有优势.
3CLMMC准则的权值设定在CLMMC准则中使用了语境距离度量p(xxxi→xxxj),从而一定程度上降低了对原始样本空间类型的依赖,提高了该准则特征提取的泛化能力.
根据文献[3435],我们知道语境距离度量是定义在相应的语境集上,该度量更关注于输入样本簇内在的几何结构,而不是具体的原始样本空间的类型.
该距离度量是通过定义相应的结构化描述器函数f()来反映数据簇内在的几何特征,即如果xxxi能融于语境集所表明的数据内在的几何结构,那么当把xxxi从移走后并不会对原有数据内在结构产生太大影响,而如果xxxi是孤立点或噪音样本,那么当把xxxi从移走后就会对原有数据内在几何结构产生较大影响.
通常在语境距离度量的概念中使用δfi=f()f(\xxxi)来表示样本xxxi对所表明的内在几何结构的贡献程度,由此就可以定义语境距离度量[3435]:p(xxxi→xxxj)=|δfiδfj|(25)1666自动化学报36卷从式(25)可以看出语境距离度量实质表明的是语境集内部样本之间的不相似性,p(xxxi→xxxj)越小越说明xxxi与xxxj属于同一个簇结构的可能性越大,反之说明两个样本不属于同一簇.
在实际使用语境距离度量时,簇结构描述器函数f()一般通过两种方法来定义:一是质心法,二是编码长度法(Codinglength).
所谓质心描述函数f()=1||xxxi∈xxxi即是通过语境集的质心来反映相应簇内在的几何结构,然而通过研究发现质心法更适用于团状数据保持内在的几何结构,而对于非团状数据表现不太明显[3435];编码长度法又称为编码率法,该方法则基于信息论基本原理,采用对原始信息重新编码所具有的信息量(即编码长度)来作为信息率失真函数(Ratedistortiongunction),因此编码长度法更关注语境集中信息量的变化对簇内在几何结构的影响,同时文献[32,3435]还分别从理论上和实例测试上来说明使用该类簇结构描述器构造的语境距离度量更能保持全局的几何结构,表现出更好的鲁棒性和适应性,因此本文采用编码长度法来定义描述函数f().
定义3[3435].
如果数据集=[xxx1,xxxk],xxx=eee/k,那么令=xxxeT,则的编码长度为f()=k+D2logdetI+Dε2kT+D2log1+xxxTxxxε2(26)其中,ε为可允许偏差,通常令ε=10D/(K1)[32,3436],D表示矢量维数.
3.
1权值的设定根据以上分析并根据式(25)和式(26),可以较为容易地定义式(6)中的语境距离以及参数σ:p(xxxsi→xxxs)=|δfsiδfs|(27)其中,δfsi=f(Xs)f(Xs\xxxsi),δfs和σw分别为[δfs1δfscs]的均值和方差.
式(27)从形式上看与文献[34]中的语境距离相似,不同的是在文献[34]中语境集是通过无监督K-近邻方法得到的,而本文的CLMMC作为一种有监督的方法则认为每类训练样本就是类内每个样本的语境集,这一点与文献[32]相似.
然而在定义(7)中的语境距离p(xxxs→xxx)时却遇到了一定的困难.
从概念上讲,p(xxxs→xxx)反映的是每类训练样本均值与总体均值之间的不相似性,同时结合类间散度的直观意义,p(xxxs→xxx)也反映了不同类样本之间的不相似性,因此为了保证类间最大,即类间的不相似程度较高,则要求p(xxxs→xxx)较大.
比较直观的定义方式就是使用文献[32]中定义方式(即p(xxxs→xxx)=f(X)f(X\Xs)),该设定方法表明了每类训练样本的内在几何结构对保持样本全局结构的贡献,然而当处理矢量模式的高维数据集(比如基因数据、图像数据)时,发现该定义一定程度上容易导致p(xxxs→xxx)为无穷大量,权值为无穷小量,从而使得测试程序无法进行,因此有必要讨论适合处理高维矢量模式和本文CLMMC方法的定义方式.
下面首先给出计算式(7)中的语境距离p(xxxs→xxx)和参数σb的算法,然后从直观含义上解释算法的合理性.
算法1.
计算式(7)中语境距离p(xxxs→xxx)和参数σb的算法.
步骤1.
输入训练样本集X、类别数c,初始化s=1;步骤2.
计算第s类训练样本集Xs的均值xxxs;步骤3.
设第k类训练样本集Xk(k=1,c,k=s),并令Xk=Xk∪{xxxs},分别计算δfsk=f(Xk)f(Xk)(k=1,c,k=s);步骤4.
令δfs为[δfs1δfsc]的均值;步骤5.
令s=s+1,如果s≤c则转到步骤2,否则转到步骤6;步骤6.
令δf和σb分别为[δf1δfc]的均值和方差;步骤7.
输出p(xxxs→xxx)、σb.
算法1中使用均值xxxs来代表第s类训练样本集Xs,这和一般处理方法相同.
然而在整个算法中最关键的是步骤3和步骤4,通过这两步算法计算得到了反映第s类与其他类别数据集之间的不相似性度量δfs.
在步骤3中定义新数据集Xk并计算δfsk的目的在于表明第s类训练样本均值xxxs与第k类训练样本Xk之间的不相似性,也就可以在一定程度上表明第s类训练样本集Xs与第k类训练样本Xk之间的不相似性,从而可以看出步骤4计算得到的δfs反映的是第s类训练样本集Xs与其他c1类训练样本之间的平均不相似性,也反映了第s类训练样本集Xs内在几何结构与其他c1类训练样本几何结构之间的差异性,从而体现了第s类训练样本集Xs内在几何结构对保持全局几何结构的贡献,因此从这个意义上讲算法1处理原则是符合语境距离p(xxxs→xxx)直观含义的.
同时通过大量测试发现该算法确实在一定程度上克服了文献[32]的定义方式在处理高维矢量数据时所遇到的困难.
诚然由于步骤3需要多次计算,从而在一定程度上提高了算法1的时间复杂度.
算法2.
CLMMC准则.
12期皋军等:基于语境距离度量的拉普拉斯最大间距判别准则1667步骤1.
输入样本集X、类别数c,使用式(26)和式(27)并调用算法1分别计算p(xxxsi→xxxs)、σw和p(xxxs→xxx)、σb;步骤2.
根据式(21)和式(22)分别计算Lw、BLbBT;步骤3.
根据QR分解的基本原理,得到X=QR,其中根据文献[29],可以得到X=QR,其中Q∈MD*r由一组正交列向量组成,R∈Mr*n是上三角矩阵,r=rank(X);步骤4.
设定参数γ,并根据式(24)计算得到由d个最大特征值对应的单位特征向量组成的矩阵Z;步骤5.
使用公式U=QZ得到变换矩阵U;步骤6.
根据式(1)输出输入样本集X对应的低维嵌入集Y=[yyy1,yyyn].
4实验本文通过测试一个人造数据集2moons、四个UCI数据子集(即:IRIS数据集、Ionosphere数据集、Segment数据集、Glass数据集)[37]、两个高维的基因数据集(Leukemia数据集、Colon数据集)(http://www.
molbio.
princeton.
edu/)以及两个人脸识别数据集(ORL、Yale数据集)(http://www.
cs.
uiuc.
edu/homes/dengcai2/)来说明本文提出的CLMMC方法在处理类内散度矩阵非奇异、类内散度矩阵奇异的问题以及在保持图像样本内在的几何结构方面都具有较好的特征提取能力.
由于人工数据集和UCI数据集维数相对较低,在测试过程中使用CLMMC方法时不采用QR分解方法,而在测试高维基因数据和人脸图像数据时使用QR分解方法.
在实验过程中都使用最近邻分类器.
4.
1测试2moons数据集人造2moons的数据集是一具有明显非线性流形结构(见图1,其中图1(a)、1(b)分别是训练样本和测试样本).
从理论上讲欧氏空间是线性的黎曼流形空间,而非线性黎曼流形空间是典型的非欧氏空间[38],从这一层面上讲2moons的数据集所蕴含的非线性流形结构表明该数据集的输入样本空间是非欧氏空间.
因此通过测试该数据集来表明本文CLMMC方法在处理输入样本空间是非欧氏空间时距离度量学习的有效性.
为了说明上述有效性,我们对本文的CLMMC方法进行改造,即使用欧氏空间的标准距离:Eu-clidean范数·来替代本文CLMMC方法中语境距离,我们把改造后的方法记为:Euclidean-CLMMC,在此基础上同本文的CLMMC方法进行比较.
测试过程中采用10-折交叉验证,并令CLMMC算法中参数γ=2i20,i=1,20,Euclidean-CLMMC参数t=2i,i=2,7,测试结果见表1.
从表1可以看出,当输入样本空间是非欧氏空间时,如果还使用经典的距离度量在一定程度上确实影响了特征提取的效果,这就充分说明了本文的CLMMC方法由于引入了语境距离度量,从而在一定程度上降低了距离度量学习对输入样本空间的依赖性,提高了特征提取的效果.
(a)训练数据(a)Trainingsamples(b)测试数据(b)Testsamples图12moons数据集Fig.
12moonsdatasets表1对2moons数据集的识别效果比较Table1Recognitionperformancecomparisonon2moonsdatasetsAlgorithmTrainingaccuracyTestaccuracyEuclidean-CLMMC10.
98CLMMC114.
2测试UCI数据集UCI数据集经常被一些特征提取方法通过测试来说明该方法的特征提取能力[3940].
本文通过测试4个UCI数据子集(见表2)来说明CLMMC方法在解决具有非奇异类内散度矩阵特点的实际问题时1668自动化学报36卷表2Ionosphere、IRIS、segment、glass数据集Table2Ionosphere,IRIS,segment,andglassdatasetsDatasetsThenumberoftrainingsamplesThenumberoftestsamplesThenumberoffeaturesThenumberofsubjectsIonosphere230117332IRIS1005043Segment1540770187Glass1407296所表现出的特征提取能力,同时通过测试来验证本文定理1、定理3所表明的性质.
为了说明本文CLMMC方法具有较强的特征提取能力,我们将CLMMC方法同LDA、MMC、LLD、CL-LLD这4种特征提取方法进行比较.
在测试过程中为了给不同算法选择合适的参数,本文使用10-折交叉验证,从而令CLMMC算法中参数同第4.
1节,LLD算法中参数t=2i,i=4,9.
测试效果见表3,并使用Ionosphere数据集的测试结果来表明特征提取对分类精度的影响(图2),同时验证定理1(图3(a))、定理3(图3(b)).
根据表3、图2和图3可以得到如下结论:图2特征提取结果对分类的影响Fig.
2Recognitionaccuracyvs.
dimensionreduction(a)实验验证定理1(a)ExperimentalvericationofTheorem1(b)实验验证定理3(b)ExperimentalvericationofTheorem3图3CLMMC方法实验结果验证定理结论Fig.
3ExperimentalvericationofthetheoremsbyCLMMCmethod12期皋军等:基于语境距离度量的拉普拉斯最大间距判别准则16691)从表3可以看出,本文的CLMMC方法同其他4种方法相比,在处理具有非奇异类内散度矩阵特点的数据集时表现出较好的特征提取效果和分类精度,这说明由于在CLMMC方法的权值中引入了语境距离度量,从而使得该方法更关注输入样本空间本质的几何结构,降低了对输入样本空间类型的依赖,在一定程度上提高了该方法的泛化能力.
2)图2说明的是上述5种特征提取方法在测试Ionosphere数据集时,取得最好分类精度的情况下所表现的不同特征提取结果对分类精度的影响.
从图中可以看出本文的CLMMC方法同其他4种方法相似,都具有随着特征提取维数的不断提高分类精度也有所变化的特点,从这一层面上可以表明CLMMC符合特征提取方法的一般规律.
3)图3表现的是本文CLMMC方法在使用Ionosphere数据集的测试结果来验证定理1、定理3结论的效果.
由于Ionosphere数据集所对应的类内散度矩阵是非奇异的,则根据定理1可知φ(γ)是γ的严格单调增函数,这一结论完全可以根据图3(a)表现的实验结果得到验证;而图3(b)则表明的是本文CLMMC方法在提取一个特征(即d=1)的情况下所对应的特征提取效果,从图3(b)可以看出,确实存在唯一的γp使得CLMMC与CL-LLD具有相同的特征提取效果,从而有力地证明了定理3结论的正确性,从这一层面上讲,当类内散度矩阵非奇异并且特征提取为一维特征时,本文的CLMMC方法完全可以替代CL-LLD;同时还可以从图3(b)看出本文CLMMC方法在提取相同维数特征后其特征提取效果是随着参数γ的变化而变化的.
4.
3测试基因数据集基因数据作为典型的高维小样本数据经常被用来测试特征提取方法在处理小样本问题时的有效性[41].
本文使用Leukemia、Colon数据集(见表4)来测试CLMMC方法在处理类内散度奇异问题的有效性.
在测试过程中,本文的CLMMC方法中的参数γ选取范围和第4.
1节相同.
然而通过测试发现,LLD方法在处理基因数据时如果参数t选取太小将不能得到有效的权值,因此在本测试过程中令t=2i,i=8,20.
同时由于基因数据往往会导致类内散度发生奇异,从而在使用LDA、LLD、CL-LLD方法测试之前首先运用PCA方法对相应的基因数据进行预处理,即在每次使用上述方法之前本文只需选取n1(代表训练样本数)个主成分.
即将Leukemia、Colon训练数据集的维数分别从71129和21000变换为39和29,尽管变换后维数大大降低,但变换后的数据集包含了原数据集信息量的99.
5%以上,同时可以在一定程度上确保变换后的数据集对应的类内散度不会发生奇异性问题,因此这样处理是合适的.
为了提高特征提取的有效性,本测试过程使用5-折交叉验证.
需要说明的是在使用LDA方法后只需提取c1(c代表的是样本类别数)维特征.
测试结果见表5和图4.
根据表5和图4可以看出,本文的CLMMC方法确实可以克服高维小样本数据的类内散度矩阵奇异性问题,同时和PCA+LDA、PCA+LLD、PCA+CL-LLD的测试表4Colon和Leukemia数据集Table4ColonandLeukemiadatasetsDatasetsThenumberoftrainingsamplesThenumberoftestsamplesThenumberoffeaturesThenumberofsubjectsRankColon30322000230Leukemia403271292401670自动化学报36卷效果相比具有较为明显的优势,体现出CLMMC方法在处理高维的基因数据时具有较强的特征提取能力.
同时由于CLMMC方法引入了QR分解技术,使得该方法在对高维数据进行特征提取时同其他最大间距判别准则相比具有较高的特征提取效率.
比如在上述测试过程中,传统的最大间距判别准则需要分别求解7129*7129的散度矩阵(Leukemia数据)、2000*2000的散度矩阵(Colon数据)特征值问题,而本文的CLMMC方法只需分别求解40*40的散度矩阵(Leukemia训练数据集的秩为40)、30*30的散度矩阵(Colon训练数据集的秩为30)特征值问题,从而在一定程度上降低了求解高阶矩阵特征值问题的时间与空间复杂度.
4.
4测试人脸图像数据集众所皆知人脸图像数据集蕴含着内在的非线性流形结构[1117,2235],即该原始样本空间属于非线性的黎曼流形空间.
为此通过测试ORL(32*32)、Yale(32*32)两个人脸图像数据集来反映本文提出的CLMMC方法在一定程度上能较好地保持输入样本空间内在的几何结构以及对原始样本空间类型具有较低的依赖程度.
ORL人脸数据包含40个类别的人脸图像,每一类别包含有10幅不同人脸表情的图像(见图5);Yale人脸数据则包含有15个类别的人脸图像,每一类别包含有11幅不同人脸表情的图像(见图6).
在本测试过程中为了有效地说明本文提出方法具有较好的特征提取能力,我们使用PCA+LDA、PCA+LPP、PCA+LLD三种方法来对比测试本文提出的PCA+CL-LLD和CLMMC方法.
其中,PCA+LDA、PCA+LLD、PCA+CL-LLD三种方法中的参数设置、PCA方法的处理过程和第4.
3节相同,而在PCA+LPP测试过程中对热核参数t的设置则参考文献[29]的方法,即t=(2m)σ0,m=9,10,其中,σ0代表训练样本的方差,PCA数据预处理过程和其他几种方法相同.
同时为了提高测试结果的有效性,在测试过程中分别对ORL和Yale数据集每类选取3个和5个样本作为训练样本来测试上述5种方法,并分别使用3-折交叉验证和5-折交叉验证.
测试结果见表6、图7和图8.
(a)Colon数据集特征提取结果对分类的影响(a)Recognitionaccuracyvs.
dimensionreductiononColondatasets(b)Leukemia数据集特征提取结果对分类的影响(b)Recognitionaccuracyvs.
dimensionreductiononLeukemiadatasets图4基因数据特征提取结果对分类的影响Fig.
4Recognitionaccuracyvs.
dimensionreductionongenedatasets图5ORL数据集中某一类所有图像Fig.
5AllimagesinacertainclassinORLdatasets图6Yale数据集中某一类所有图像Fig.
6AllimagesinacertainclassinYaledatasets12期皋军等:基于语境距离度量的拉普拉斯最大间距判别准则1671(a)3个训练样本(a)3trains(b)5个训练样本(b)5trains图7ORL数据特征提取结果对分类的影响Fig.
7Recognitionaccuracyvs.
dimensionreductiononORLdatasets(a)3个训练样本(a)3trains(b)5个训练样本(b)5trains图8Yale数据特征提取结果对分类的影响Fig.
8Recognitionaccuracyvs.
dimensionreductiononYaledatasets1672自动化学报36卷根据以上测试结果可以看出,本文提出的PCA+CL-LLD和CLMMC方法同其他方法相比具有更好的特征提取效果和分类精度,这在一定程度上说明本文的方法由于引入了语境距离度量能更好地保持样本内在蕴含的几何结构,降低了对原始样本空间类型的依赖程度.
5总结本文通过分析LLD方法存在的问题和不足,通过引入语境距离度量并结合最大间距判别准则的基本原理提出一种基于语境距离度量的拉普拉斯最大间距判别准则:CLMMC.
该准则不但在一定程度上避免小样本问题,而且由于语境距离度量更关注原始样本簇内在的本质结构而不是原始样本空间的类型,从而降低了该准则对特定样本空间的依赖程度.
同时通过引入计算语境距离度量的新算法并结合QR分解的基本原理提高了CLMMC在处理高维矢量模式数据时的适应性和效率.
并从理论上讨论CLMMC准则具有的基本性质以及与LLD准则的内在联系.
最后通过测试证明CLMMC准则具有一定的有效性.
然而,CLMMC准则也存在着一定的不足,比如如何从理论上分析并结合运用实际去寻找更适合高维矢量数据的语境距离度量的计算形式将是我们以后工作的方向.
References1BianZhao-Qi,ZhangXue-Gong.
PatternRecognition(Sec-ondEdition).
Beijing:TsinghuaUniversityPress,2001.
8790(边肇祺,张学工.
模式识别(第二版).
北京:清华大学出版社,2001.
8790)2JollieIT.
PrincipalComponentAnalysis.
NewYork:Springer-Verlag,19863TangF,CrabbR,TaoH.
RepresentingimagesusingnonorthogonalHarr-likebases.
IEEETransactionsonPat-ternAnalysisandMachineIntelligence,2007,29(12):212021344SkocajD,LeonaridsA,BischofH.
Weightedandrobustlearningofsubspacerepresentations.
PatternRecognition,2007,40(5):155615695ParkMS,ChoiJY.
Theoreticalanalysisonfeatureextrac-tioncapabilityofclass-augmentedPCA.
PatternRecogni-tion,2009,42(11):235323626FisherRA.
Theuseofmultiplemeasurementsintaxonomicproblems.
AnnalsofEugenics,1936,7:1791887HsiehPF,WangDS,HsuCW.
Alinearfeatureextrac-tionformulticlassclassicationproblemsbasedonclassmeanandcovariancediscriminantinformation.
IEEETrans-actionsonPatternAnalysisandMachineIntelligence,2006,28(2):2232358KyperountasM,TefasA,PitasI.
WeightedpiecewiseLDAforsolvingthesmallsamplesizeprobleminfaceverica-tion.
IEEETransactionsonNeuralNetwork,2007,18(2):5065199TurkM,PentlandA.
Eigenfacesforrecognizition.
JournalofCognitiveNeuroscience,1991,3(1):718610CuiGuo-Qin,GaoWen.
Facerecognitionbasedontwo-layergeneratevirtualdataforSVM.
ChineseJournalofComput-ers,2005,28(3):368376(崔国勤,高文.
基于双层虚拟视图和支持向量的人脸识别方法.
计算机学报,2005,28(3):368376)11FuY,YuanJS,LiZ,HuangTS,WuY.
Query-drivenlo-callyadaptiveFisherfacesandexpert-modelforfacerecog-nition.
In:ProceedingsoftheInternationalConferenceonImageProcessing.
SanAntonio,USA:IEEE,2007.
14114412YeJian-Hua,LiuZheng-Guang.
Multi-modalfacerecogni-tionbasedonlocalbinarypatternandFisherfaces.
Com-puterEngineering,2009,35(11):193195(叶剑华,刘正光.
基于LBP和Fisherfaces的多模态人脸识别.
计算机工程,2009,35(11):193195)13ZhengWS,LaiJH,YuenPC,LiST.
PerturbationLDA:learningthedierencebetweentheclassempiricalmeananditsexpectation.
PatternRecognition,2009,42(5):76477914FibregasJ,Faundez-ZanuyM.
BiometricdispersionmatcherversusLDA.
PatternRecognition,2009,42(9):1816182315WangXG,TangXO.
Auniedframeworkforsubspacefacerecognition.
IEEETransactionsonPatternAnalysisandMachineIntelligence,2004,26(9):1222122816XiongHL,SwamyMNS,AhmadOM.
Two-dimensionalFLDforfacerecognition.
PatternRecognition,2005,38(7):1121112417PengJ,ZhangP,RiedelN.
Discriminantlearninganalysis.
IEEETransactionsonSystems,Man,andCybernetics,PartB:Cybernetics,2008,38(6):1614162518SongFeng-Xi,ZhangDa-Peng,YangJing-Yu,GaoXiu-Mei.
Adaptiveclassicationalgorithmbasedonmaximumscatterdierencediscriminantcriterion.
ActaAutomaticaSinica,2006,32(4):541549(宋枫溪,张大鹏,杨静宇,高秀梅.
基于最大散度差鉴别准则的自适应分类算法.
自动化学报,2006,32(4):541549)19LiHF,JiangT,ZhangKS.
Ecientandrobustfeatureex-tractionbymaximummargincriterion.
IEEETransactionsonNeuralNetworks,2006,17(1):15716520ZhengWM,ZouCR,ZhaoL.
Weightedmaximummargindiscriminantanalysiswithkernels.
Neurocomputing,2005,67:35736221LiuJ,ChenSC,TanXY,ZhangDQ.
Commentson"ef-cientandrobustfeatureextractionbymaximummargincriterion".
IEEETransactionsonNeuralNetworks,2007,18(6):1862186422SchraudolphNN,GunterS,VishwanathanSVN.
Fastit-erativekernelPCA.
In:ProceedingsoftheConferenceonNeuralInformationProcessingSystems.
BritishColumbia,Canada:MITPress,2006.
1225123223LiJ,LiXL,TaoDC.
KPCAforsemanticobjectextractioninimages.
PatternRecognition,2008,41(10):3244325024ChenB,LiuHW,BaoZ.
AkerneloptimizationmethodbasedonthelocalizedkernelFishercriterion.
PatternRecognition,2008,41(3):1098110925TenenbaumJB,deSilvaV,LangfordJC.
Aglobalge-ometricframeworkfornonlineardimensionalityreduction.
Science,2000,290(5500):2319232326RoweisST,SaulLK.
Nonlineardimensionalityreduc-tionbylocallylinearembedding.
Science,2000,290(5500):2323232627BelkinM,NiyogiP.
Laplacianeigenmapsfordimensional-ityreductionanddatarepresentation.
NeuralComputation,2003,15(6):1373139612期皋军等:基于语境距离度量的拉普拉斯最大间距判别准则167328HeXF,NiyogiP.
Localitypreservingprojections.
In:Pro-ceedingsofthe16thConferenceonNeuralInformationProcessingSystems.
Cambridge,USA:MITPress,2003.
15316029WangHX,ChenSB,HuZL,ZhengWM.
Locality-preservedmaximuminformationprojection.
IEEETrans-actionsonNeuralNetworks,2008,19(4):57158530YangWK,WangJG,RenMW,YangJY,ZhangL,LiuGH.
FeatureextractionbasedonLaplacianbidirectionalmax-imummargincriterion.
PatternRecognition,2009,42(11):2327233431ZhaoDL,LinZC,XiaoR,TangXO.
LinearLaplaciandiscriminationforfeatureextraction.
In:ProceedingsoftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.
Minnesota,USA:IEEE,2007.
1732ZhangW,LinZC,TangXO.
TensorlinearLaplaciandis-crimination(TLLD)forfeatureextraction.
PatternRecog-nition,2009,42(9):1941194833ZhengWS,LaiJH,LiSZ.
1D-LDAvs.
2D-LDA:whenisvector-basedlineardiscriminantanalysisbetterthanmatrix-basedPatternRecognition,2008,41(7):2156217234ZhaoDL,LinZC,XiaoR,TangXO.
LaplacianPCAanditsapplications.
In:Proceedingsofthe11thInternationalConferenceonComputerVision.
RiodeJaneiro,Brazil:IEEE,2007.
1835ZhaoDL,LinZC,XiaoR,TangXO.
Contextualdis-tancefordataperception.
In:Proceedingsofthe11thIn-ternationalConferenceonComputerVision.
RiodeJaneiro,Brazil:IEEE,2007.
1836MaY,DerksenH,HongW,WrightJ.
Segmentationofmul-tivariatemixeddatavialossydatacodingandcompression.
IEEETransactionsonPatternAnalysisandMachineIntel-ligence,2007,29(9):1546156237BlakeCL,MerzCJ.
UCIrepositoryofmachinelearn-ingdatabases[Online],available:http://www.
ics.
uci.
edu/mlearn/MLRepository.
html,Mar17,200938WangJue,ZhouZhi-Hua,ZhouAo-Ying.
MachineLearningandItsApplication.
Beijing:TsinghuaPress,2006.
135164(王珏,周志华,周傲英.
机器学习及其应用.
北京:清华大学出版社,2006.
135164)39ChenSC,ZhuYL,ZhangDQ,YangJY.
Featureex-tractionapproachesbasedonmatrixpattern:MatPCAandMatFLDA.
PatternRecognitionLetters,2005,26(8):1157116740WangZ,ChenSC.
Newleastsquaressupportvectorma-chinesbasedonmatrixpatterns.
NeuralProcessingLetters,2007,26(1):415641GaoJun,WangShi-Tong.
Matrixpatternbasedminimumwithin-classscattersupportvectormachines.
ActaEelec-tronicaSinica,2009,37(5):10511057(皋军,王士同.
基于矩阵模式的最小类内散度支持向量机.
电子学报,2009,37(5):10511057)皋军盐城工学院信息工程学院副教授,江南大学物联网学院博士研究生.
主要研究方向为人工智能,模式识别,数据挖掘和模糊系统.
本文通信作者.
E-mail:gjxllin@yahoo.
cn(GAOJunAssociateprofessorattheSchoolofInformationEngineer-ing,YanchengInstituteofTechnology,Ph.
D.
candidateattheSchoolofInternetofThings,Jiang-nanUniversity.
Hisresearchinterestcoversarticialintelli-gence,patternrecognition,datamining,andfuzzysystem.
Correspondingauthorofthispaper.
)王士同江南大学物联网学院教授.
主要研究方向为人工智能,模式识别,数据挖掘,神经网络,模糊系统,医学图像处理和生物信息学.
E-mail:wxtong@yahoo.
com.
cn(WANGShi-TongProfessorattheSchoolofInternetofThings,JiangnanUniversity.
Hisresearchinterestcov-ersarticialintelligence,patternrecognition,datamining,neuralnetworks,fuzzysystem,medicalimageprocessing,andbioinformation.
)王晓明西华大学数学与计算机学院讲师.
主要研究方向为人工智能和模式识别.
E-mail:wangxiaomingtian@yahoo.
com.
cn(WANGXiao-MingLecturerattheSchoolofMathematicsandCom-puterEngineering,XihuaUniversity.
Hisresearchinterestcoversarticialin-telligenceandpatternrecognition.
)