软件学报ISSN1000-9825,CODENRUXUEWE-mail:jos@iscas.
ac.
cnJournalofSoftware,2014,25(9):20372049[doi:10.
13328/j.
cnki.
jos.
004643]http://www.
jos.
org.
cn中国科学院软件研究所版权所有.
Tel/Fax:+86-10-62562563基于自适应Nystrm采样的大数据谱聚类算法丁世飞1,2,贾洪杰1,2,史忠植21(中国矿业大学计算机科学与技术学院,江苏徐州221116)2(中国科学院计算技术研究所智能信息处理重点实验室,北京100190)通讯作者:丁世飞,E-mail:dingsf@cumt.
edu.
cn摘要:面对结构复杂的数据集,谱聚类是一种灵活而有效的聚类方法,它基于谱图理论,通过将数据点映射到一个由特征向量构成的低维空间,优化数据的结构,得到令人满意的聚类结果.
但在谱聚类的过程中,特征分解的计算复杂度通常为O(n3),限制了谱聚类算法在大数据中的应用.
Nystrm扩展方法利用数据集中的部分抽样点,进行近似计算,逼近真实的特征空间,可以有效降低计算复杂度,为大数据谱聚类算法提供了新思路.
抽样策略的选择对Nystrm扩展技术至关重要,设计了一种自适应的Nystrm采样方法,每个数据点的抽样概率都会在一次采样完成后及时更新,而且从理论上证明了抽样误差会随着采样次数的增加呈指数下降.
基于自适应的Nystrm采样方法,提出一种适用于大数据的谱聚类算法,并对该算法的可行性和有效性进行了实验验证.
关键词:大数据;谱聚类;特征分解;Nystrm扩展;自适应采样中图法分类号:TP181中文引用格式:丁世飞,贾洪杰,史忠植.
基于自适应Nystrm采样的大数据谱聚类算法.
软件学报,2014,25(9):20372049.
http://www.
jos.
org.
cn/1000-9825/4643.
htm英文引用格式:DingSF,JiaHJ,ShiZZ.
SpectralclusteringalgorithmbasedonadaptiveNystrmsamplingforbigdataanalysis.
RuanJianXueBao/JournalofSoftware,2014,25(9):20372049(inChinese).
http://www.
jos.
org.
cn/1000-9825/4643.
htmSpectralClusteringAlgorithmBasedonAdaptiveNystrmSamplingforBigDataAnalysisDINGShi-Fei1,2,JIAHong-Jie1,2,SHIZhong-Zhi21(SchoolofComputerScienceandTechnology,ChinaUniversityofMiningandTechnology,Xuzhou221116,China)2(KeyLaboratoryofIntelligentInformationProcessing,InstituteofComputingTechnology,TheChineseAcademyofSciences,Beijing100190,China)Correspondingauthor:DINGShi-Fei,E-mail:dingsf@cumt.
edu.
cnAbstract:Spectralclusteringisaflexibleandeffectiveclusteringmethodforcomplexstructuredatasets.
Itisbasedonspectralgraphtheoryandcanproducesatisfactoryclusteringresultsbymappingthedatapointsintoalow-dimensionalspaceconstitutedbyeigenvectorssothatthedatastructureisoptimized.
Butintheprocessofspectralclustering,thecomputationalcomplexityofeigen-decompositionisusuallyO(n3),whichlimitstheapplicationofspectralclusteringalgorithminbigdataproblems.
Nystrmextensionmethodusespartialpointssampledfromthedatasetandapproximatecalculationtosimulatetherealeigenspace.
Inthisway,thecomputationalcomplexitycanbeeffectivelyreduced,whichprovidesanewideaforbigdataspectralclusteringalgorithm.
TheselectionofsamplingstrategyisessentialforNystrmextensiontechnology.
Inthispaper,thedesignofanadaptiveNystrmsamplingmethodispresented.
Thesamplingprobabilityofeverydatapointwillbeupdatedaftereachsamplingpass,andaproofisgiventhatthesamplingerrorwilldecreaseexponentiallywiththeincreaseofsampletimes.
BasedontheadaptiveNystrmsamplingmethod,aspectralclusteringalgorithmforbigdataanalysisispresented,anditsfeasibilityandeffectivenessisverifiedbyexperiments.
Keywords:bigdata;spectralclustering;eigen-decomposition;Nystrmextension;adaptivesampling基金项目:国家重点基础研究发展计划(973)(2013CB329502);国家自然科学基金(61379101)收稿时间:2014-04-07;定稿时间:2014-05-142038JournalofSoftware软件学报Vol.
25,No.
9,September2014聚类学习是一种重要的数据分析技术.
为了从纷繁复杂的数据中发现有用的信息,可以先对数据进行聚类,根据数据对象的相关特征,将相似的对象归到同一类里,而差别较大的对象划分到不同类中,找到数据之间的内在联系,为决策提供支持[1].
谱聚类是聚类分析中十分热门的研究领域,与传统的聚类算法(如k-means,FCM)相比,其优势在于:谱聚类算法可以很好地处理非凸形结构的数据集,得到比较满意的聚类结果[2].
谱聚类的背后有着坚实的理论基础,它用图划分的思想处理数据聚类问题,为了得到最优的子图划分,引入拉普拉斯矩阵并对其特征分解,利用特征向量将原始数据点映射到一个低维的特征空间中,再进行聚类.
商家介绍:星梦云怎么样,星梦云好不好,资质齐全,IDC/ISP均有,从星梦云这边租的服务器均可以备案,属于一手资源,高防机柜、大带宽、高防IP业务,一手整C IP段,四川电信,星梦云专注四川高防服务器,成都服务器,雅安服务器,。活动优惠促销:1、成都电信夏日激情大宽带活动机(封锁UDP,不可解封):机房CPU内存硬盘带宽IP防护流量原价活动价开通方式成都电信优化线路2vCPU2G40G+60G21...
RAKsmart怎么样?RAKsmart香港机房新增了付费的DDoS高防保护服务,香港服务器默认接入20Mbps的大陆优化带宽(电信走CN2、联通和移动走BGP)。高防服务器需要在下单页面的IP Addresses Option里面选择购买,分:40Gbps大陆优化高防IP-$461/月、100Gbps国际BGP高防IP-$692/月,有兴趣的可以根据自己的需求来选择!点击进入:RAKsmart官...
亚洲云Asiayun怎么样?亚洲云成立于2021年,隶属于上海玥悠悠云计算有限公司(Yyyisp),是一家新国人IDC商家,且正规持证IDC/ISP/CDN,商家主要提供数据中心基础服务、互联网业务解决方案,及专属服务器租用、云服务器、云虚拟主机、专属服务器托管、带宽租用等产品和服务。Asiayun提供源自大陆、香港、韩国和美国等地骨干级机房优质资源,包括BGP国际多线网络,CN2点对点直连带宽以...