样本联想t16

第29卷第12期光子学报Vol.
29No.
122000年12月ACTAPHOTONICASINICADecember2000图样间联想光学神经网络模型存贮分析及两层异联想识别模型的构造许锐李志能黄达诠毕岗(浙江大学信息与电子工程系电子信息技术研究所310027)(E-mail:xur@isee.
zju.
edu.
cn)摘要本文详细讨论了图样间联想网络的最大存贮容量,给出了实现图样间异联想的两个充分条件.
在此基础上,利用改进的图样间异联想算法构造了两层异联想模型(THA)用于图样识别,网络判辨率与恢复率较图样间自联想识别均有很大提高;且其互连权矩阵更加简单稀疏并可平面化,光学实现更为简便.
关键词光学神经网络;图样间联想;异联想;存贮容量;图样恢复1概述图样间联想模型IPA(InterpatternAssociation)是90年代由LuTaiwei等1提出的一种适合光学实现的新型联想神经网络.
其机理是根据图样的独有和共同特征的关系构造互连权矩阵(IWM),强调各图样之间的相互关系.
如图1所示的三个相互重叠样本的拓扑示意中,低重叠共同特征区域中神经元激励本样本中高重叠共同特征区域(如1区域中元素激励4、6和7区域中元素,4域和6域中元素激励7域中元素),而抑制本样本外的其它区域(如1区域元素抑制2、3和5区域中元素);各区域内部神经元间互相激励,无决定关系的各区域间无互连.
与传统Hopfield模型存贮图样内各元素间关系相比,IPA具有更高的存贮和抗噪音识别能力;并由于IPA采用二值样本(1,0)和三态权(1,0,-1),且拥有大量的"0"权,非常便于光学系统实现.
F.
T.
S.
Yu等2随后用相同原理构造了图样间异联想IHA算法;不久周常河等3提出高阶图样间异联想模型;1994年,UangCM等4将IPA运用于经傅里叶变换后的谱样本,实现了旋转和平移不变的光学识别;Chii-Maw等5进一步将IPA权矩阵改造为单极性(1,0),使更方便光实现;1998年,程惠全等6综合自联想和异联想,提出二阶混合图样间联想模型,并建立了相应光学模式识别系统.
图1三个相互重叠的样本Fig.
1Threeoverlappedpattems如上所述,IPA模型已有一些成功的实验和应用,但有关其存贮能力方面的深一步探讨还未见报道.
本文对图样间自联想和异联想的存贮条件做了分析,并据此用改进的IHA设计了两层异联想OCR神经网络,大大提高了图样间联想的识别和图样恢复能力.
2图样间联想网络的存贮能力分析2.
1自联想笔者在大量实践经验基础上,得出以下结论:图样间自联想网络可以存贮样本阵列所能表达的任意数量的不同样本,即其存贮能力仅由图浙江省自然科学基金资助项目收稿日期:2000-03-31样阵列的大小决定;对N点阵样本,最大存贮容量为2N.
以输入为N点阵的M个样本X1、X2…XM为记忆对象,xmn代表第m个样本的第n个像点值,T为自联想互连权矩阵(以下通用).
当样本数目增大、样本间相关度加大时,由IPA的互连原理,T中的激励和抑制权随之减少,"0"互连增多.
举一个各样本彼此重叠的极限情况:如图1中只有4、5、6区域存在,A、B、C样本分别是4和5、4和6、5和6区域的并集,并设4、5、6各区中仅有一个元素,此时仅存输入元到自身对应输出元的正连接"1".
一般,对≤2N的任意数量的样本集,当Mm=1xmn≠0时,至少存在Tnn=1(n=1,2,…N);因而对标准输入的样本,一定可以完全恢复.
Hopfield模型的IWM对角元是全"0"的;IPA只有所有样本皆为零的元对应的对角元为"0",其它对角元均为"1".
Hopfield联想存贮的容量上限约为N/(2lnN),与此相比,IPA存贮具有相当的优势.
我们给出一个简单的例子验证以上结论.
图2为2*2阵列的全部16个样本的输入集;用IPA存贮,可以准确地回忆出所有样本,其IWM与以上分析相吻合.
T=1000010000100001(1)图2N=4、M=16样本集Fig.
2ReferencepatternswithN=4、M=162.
2异联想IHA一般,神经网络实现异联想要比做自联想困难.
对图样间异联想,如满足以下两个充分条件之一,即可异联想成功:1)输入集与输出集具有相同的拓扑集合关系(包括样本间的相交、包含结构);2)所有输入样本都具备至少一个独有特征元,则可达成到任意输出集的异联想.
图样间自联想是充分条件1下的特例,一般输入、输出集拓扑对应子区域中神经元的数目和位置可以不同.
可以想象具有图1拓扑关系的任意两组样本间的异联想将与其自联想相似.
对充分条件2,显见,公共区点只能激励输出中同阶和高阶的公共区点,只有独立特征点可以激励出对应目标样本所有独有和共有部分并抑制其外区域;即在每个独立特征点都存贮了对应样本的全部信息.
举例说明条件2.
图3(a)为8*8阵列"0"~"9"的十个输入样本,(d)为拟订的2*2阵列十个目标输出样本.
输入集中只有样本"1"阵列的(3,5)点、样本"4"的(5,8)、(6,8)、(8,8)点为独有特征点,其余都相重叠.
用IHA做(a)→(d)的异联想,结果如(b):只有样本"1"、"4"得到正确输出.
然后我们对样本"0"、"2"、"3"、"5"、"6"、"7"、"8"、"9"在输入点阵的空白列(第一列)中依次添加独有特征点,使其满足充分条件2,如图(c)所示.
做(c)→(d)的异联想,则得出全部正确的输出.
图320个样本的图样间异联想的例子Fig.
3ExampleofIHAwith20patterns3两层异联想识别模型3.
1THA(两层异联想)模型的建立存贮容量是输入为标准样本时网络能正确回忆的样本数;当输入非标准的噪音样本时,IPA自联想也有较好的识别能力1.
但IPA识别对样本的恢复程度不是很好,许多以最小哈明判据判别为正确的输出结果距离目标样本还存在较大误差7.
为改善这一状况,我们设计了以下的两层异联想模型THA(Two-layerheteroassociation)做模式识别和样本恢复.
如图4(a),噪音样本从第一层输入,经一次异联想,在中间层输出指示网络判别为哪一个样本;第二次异联想根据此判别结果将输出恢复为标准样本阵列.
图4(a)为一维示意图,简洁起1092光子学报29卷见,每层只画了一个神经元发出的连接.
图4(a)THA模型示意图,(b)THA实验示意图Fig.
4(a)StructureofTHA,(b)Schematicdiagram我们选择IHA来完成第一层异联想.
考虑到IHA的联想条件及实验的直观性,中间层选用M维向量{y1,y2,y3,…,};当输入第m个样本时,ym输出"1",其余中间层神经元输出"0".
输入X1~XM分别得到输出向量Y1、Y2、…、YM,构成中间输出集;ym2m1代表中间集中第m2个向量的第m1个元素值.
实际空间光学系统实现中,中间层可采用与输入输出面相同尺度的条状神经元线阵8,如图4(b)所示.
各层中三维空间互连分解为N(方阵样本)组平面内互连,中间层神经元的加权和输出为其纵向各点加权输出的总和.
第一层异联想互连权矩阵T1计算如下:令Ai=Mm=1xmi,Bj=Mm=1ymj=1,Cji=Mm=1xmiymj(2)则当Cji=Ai且Ai≠0时T1ji=1当Cji=0且Ai≠0且Bj≠0时T1ji=-1(3)其它T1ji=0式中,i=1,2,…,N;j=1,2,…,M.
许多情况下待联想的样本集并不具备前述异联想的两个条件,以至无法运用IHA完全存贮.
为此我们改进IHA的取阈函数,由原来的f(r)=1r>00r≤0变为f(r)=1r≥00r<0;这样对不具备独立特征点的样本,尽管无法激励对应输出样本,却可通过自身各公共区点抑制非目标样本输出进而提取未受抑制的目标样本.
已知某样本Xm由L个不同公共区组成,若第l个公共区为Xm∩Xa∩Xb∩…∩Xc,则令Pl={Xm,Xa,Xb,…,Xc}(l=1,2,…,L),并令X={X1,X2,…,XM};在上述结构中,该样本可用改进的IHA成功异联想的条件是Ll=1(X-Pl)=X-{Xm}(4)满足该条件的样本中间层除目标样本的特征点加权和为"0"外,其余都为负.
实际带噪音的样本识别时将阈值函数进一步改进为f(r)=1r=rmax0r第二层恢复层中,由中间层每一神经元发出的一套互连权存贮其对应标准样本的全部信息.
用T2表示第二层的IWM,即有当xji=1时T2ij=1其它T2ij=0(5)式中i=1,2,…,N;j=1,2,…,M.
T2可看作是IHA激励权构造的一种特殊情况:由式(2)中Bj恒等于1,从而第二层激励作用简化为式(5);不同的是第二层不设抑制权.
只要中间层做出正确的判别,就可通过T2完全恢复出标准样本;即THA的识别成功率实为第一层的异联想成功率.
本网络的训练一次性完成.
3.
2实验模拟结果与讨论重新考察图3(a)样本集,这套样本相关度高且不满足IHA的充分条件2,但无独立特征点的样本都满足式(3)的条件.
利用前述两层异联想网络对其做存贮识别,中间层为10维向量,T1为10*(8*8)矩阵,T2为(8*8)*10矩阵.
计算得出T1中"1"权共4个,"-1"权186个,这是因为该套样本中只有4个独立特征点;因而该网络层对重叠度高的样本集强调利用互连中的抑制成份.
T2中共342个"1"权.
与此相比,单层IPA自联想存贮需非零权共779个,可见THA进一步压缩了IWM.
图5是图样间自联想和两层异联想网络在0~50%随机噪音下识别上述8*8点阵样本集的统计结果.
(a)为判别正确率比较曲线图;(b)描述图样的恢复率:其中虚线表示所有测试次的平均输出偏差,实线表示成功判别的平均偏差,均用哈明距离表示.
由图可见THA不仅可做到完全存贮,并具有更好的识别能力,同时大大改善了样本恢复程度.
在30%噪音以下,THA的整体平均输出偏差较IPA降低了一个数量级.
IPA在成功识别时仍存在较大平均偏差,这蕴涵着网络的不稳定因素;而THA这项指标显然恒为零.
相同数量的样本,随着样本点阵的增大,IPA和THA识别功能都随之增强.
图6为同样"0"109312期许锐等.
图样间联想光学神经网络模型存贮分析及两层异联想识别模型的构造~"9"样本集在27*16点阵下的两种网络的识别情况比较.
(a)中THA在10%噪音以下基本达到100%识别正确,25%噪音以下90%以上识别成功;因而在(b)中THA的整体平均输出偏差在25%噪音以下保持1%以下的低水平.
有趣的是IPA在25%噪音以下整体输出平均偏差与识别成功时平均偏差近乎重叠,这除了代表较低的恢复能力,也在一定程度上反映出网络的欠稳定性.
图7给出了几组8*8点阵下识别的样例,这里THA均得出正确结果,IPA输出结果下打图58*8点阵IPA和THA识别.
(a)识别成功率与输入噪音的关系,(b)输出哈明偏差与输入噪音的关系Fig.
5IPAandTHArecognitionin8*8array.
(a)recognitionrateagainstnoiselevel,(b)outputHammingdistanceagainstinputnoise图627*16点阵IPA和THA识别.
(a)识别成功率与输入噪音的关系,(b)输出哈明偏差与输入噪音的关系Fig.
6IPAandTHArecognitionin27*16array.
(a)recognitionrateagainstnoiselevel,(b)outputHammingdistanceagainstinputnoise图78*8阵列下IPA和THA识别的样例比较Fig.
7RecognizingexamplesbyIPAandTHAin8*8array""的表示判别成功,打"*"的表示判别失败.
THA的识别显然更令人满意;比较IPA和THA同时识别成功的例子,THA识别成功的判据虽更为严格,配合改进异联想的功能,得以发挥其明确的优势而有助于输出的趋向理想.
4总结本文详细讨论了图样间联想模型的存贮能力,指出自联想N点阵样本的最大存贮容量为2N;异联想成功的两个充分条件是输入输出集具有相同的拓扑集合构型或所有输入样本都各自具有至少一个独立特征点.
进一步利用改进的图样间异联想算法构造了两层异联想模型用于OCR,1094光子学报29卷其识别率与样本恢复率较IPA自联想识别均有较大提高;该网络保留了IPA训练的简便性,互连权矩阵更加简单稀疏,光学实现中空间互连可平面化,是更为理想的光学神经网络模型.
参考文献1LuTaiwei,XuXin,WuSudong,YuFTS.
Neuralnetworkmodelusinginterpatternassociation.
ApplOpt,1990,29(2):284~2882YuFTS,LuT,YangX.
Opticalimplementationofhetero-associationneuralnetworkwithinterpatternassociationmodel.
IntJOptComput,1991,101(1):129~1323周常河,刘立人,王之江.
异联想IPA模型、高阶异联想IPA模型以及光学实现.
光电子·激光,1992,3(5):319~3214UangCM,YinS,LuG,YuFTS.
Shift-androtation-invariantinterpatternheteroassociation(IHA)model.
OptCommu,1994,104(4,5,6):285~2925UangCM,LuG,YuFTS.
Unipolarinterpatternassociationneuralnetworks.
OptLett,1994,19(1):52~546程惠全,刘立人,李国强,周常河.
基于混合类间联想神经网络的光学模式识别.
光学学报,1998,18(10):1311~13167XuRui,HuangDaquan,LiZhineng.
Aperfectshuffletypeofinterpatternassociationopticalneuralnetworkmodel.
ActaPhotonicaSinica,2000,29(1):27~338王勇竞,张延火斤,郭转运.
人工神经网络的光学实现.
光子学报,1997,26(4):289~297ANALYSISONTHESTORAGECAPACITYOFIPAMODELANDTHECONSTRUCTIONOFATWO-LAYERHETEROASSOCIATIONOPTICALNEURALNETWORKMODELXuRui,LiZhineng,HuangDaquan,BiGangInstituteofElectronicInformationTechnology,DepartmentofInformation&ElectronicEngineering,ZhejiangUniversity,Yuquan,Hangzhou310027,ChinaE-mail;xur@isee.
zju.
edu.
cnReceiveddate:2000-03-31AbstractTheutmoststoragecapacityoftheinterpatternassociation(IPA)neuralnetworkisdiscussedinthispaper,andtwosufficienttermsofrealizinginterpatternheteroassociationarepointedoutasafurtherstep.
Nextatwo-layerheteroassociationmodel(THA)isproposedbyusingthemodifiedIHAalgorithm,andtherecognitionof10digitalnumbersbyTHAhasshownmuchimprovedperformancescomparedwiththeIPAmodelinbothidentifyingandretrievingpatterns.
Moreover,THAownssparserweightmatrixes(IWM)with1-Dinterconnections,whichbringsmoreconveniencetoopticalimplementation.
KeywordsOpticalneuralnetwork;Interpattern-association;Heteroassociation;Storagecapacity;Patternretrieval109512期许锐等.
图样间联想光学神经网络模型存贮分析及两层异联想识别模型的构造