资源360云盘论坛

一种基于Cookie的网盘资源在线溯源方法罗攀1,3,4,袁庆升2,张鹏3,4,李舒3,4,郑超3,4(1.
西安电子科技大学,西安710071;2.
国家计算机网络应急技术处理协调中心,北京100029;3.
中国科学院信息工程研究所,北京100876;4.
信息内容安全技术国家工程实验室,北京100093)摘要:网盘作为一种流行的资源传播方式,其所分享的资源已经在网络流量中占有越来越多的比例,因此获取网盘资源的分享链接对于网络安全有着重要的意义.
为此本文提出了一种基于Cookie的分享链接获取方法—CookieTracking.
该方法首先建立cookie和HTTP会话的索引.
其次,通过location哈希表和token哈希表获取了下载网盘资源的URL跳转链.
最后,通过URL跳转链上的每个节点的统计分析获取其中的资源分享链接.
实验结果显示在带宽为1Tbps的网关上CookieTracking的平均查准率、查全率、获取时间分别为是98.
64%,98.
35%,0.
102ms,表明了该方法具有很好的性能和可扩展性关键词:网盘资源;分享链接;URL跳转链;cookie;HTTP会话Aon-lineURLtrackingmethodbasedoncookieforCyberlockersresourceLUOPan1,3,4,YUANQingSheng2,ZHANGPeng3,4,LIShu3,4,ZHENGChao2,3(1.
XidianUniversity,Xi'an710071,China;2.
Nationalcomputernetworkemergencycoordinationcenter,Beijing100029,China;3.
InsitituteofInformationEngineering,ChineseAcademyofSciences,Beijing100876,China;4.
NationalEngineeringLaboratoryforInformationSecurityTechnology,Beijing100093,China)Abstract:Cyberlockershaverecentlybecomeaverypopularmeansofdistributingcontent,andincreasedusageoftheseservicescoulddrasticallyalterthecharacteristicofWebtraffic.
Inlightofthenon-negligiblefractionaccountedbythetrafficflowsoriginatingfromCyberlocks,itisnecessarytotrackthemfornetworksecurity.
Inthispaper,weproposedCookieTracking,amethodtodetectthesharedlinkstotheresourceofcyberlockers.
Firstly,weestablishtheindexingforthecookieandHTTPsession.
Secondly,wetracktheURLchainofdownloadingCyberlockersresouse.
Atlast,weobtainthecommennodeformultipleURLchainofonedownloadingCyberlockersresouse.
wethinkthiscommennodeisthesharedlinkswewanted.
Theexperimentalresultsdemonstratetheeffectivenessandextensibilityofourmethod,atthegatewaythatbandwidthis1Tbps,wheretheprecisionratio,recallration,timerespectivelyhasbeenreached98.
64%,98.
35%,0.
102ms.
Keywords:resourceofcyberlockers;sharedlinks;URLchain;cookie;HTTPsession1引言网络作为一个开放式的平台,互联网上有一系列的让用户可以分享资源给他人的服务,例如过去比较流行的p2p、Bittorrent以及目前比较流行的网盘.
由于网盘操作简单(一键分享下载以及用户无基金项目:国家242信息安全支撑计划课题(2014A099);FoundationItems:National242InformationSecuritysupportplan(2014A099);需安装下载软件)和下载速度快(与Bittorrent等传统资源分享模式相比)的特点使p2p和Bittorrent使用量急剧下降[1.
2.
3].
很多学者对网盘的使用程度作出统计.
Maier[1]统计显示,在普通网络流量中网盘流量占总流量的17%.
Gehlen[2]统计显示,网盘是排名前十的网络应用以及占据5%的点击量.
Allot[3]统计显示在移动终端上网盘流量占据总流量的19%.
当用户将资源上传至网盘并分享该资源时,网盘会给该资源生成唯一对应的URL.
用户将该链接分享至第三方网络社交平台(博客,论坛等),其他用户即可点击该链接下载分享资源,这些用户点击分享链接后会弹出一带有下载按钮的页面(该页面的URL即为分享链接),该页面会描述该下载资源的属性信息,例如资源发布者,资源发布时间,资源下载次数等等.
当用户点击网盘资源页面的下载按钮下载该资源时,其浏览器会通过URL自动向服务器发出一系列HTTP请求,直至建立下载资源的HTTP会话.
如何从骨干网络节点上海量的网络流量中获取网盘下载资源HTTP会话对应的网盘资源分享链接(本文将这一过程其定义为网盘资源溯源)对于网络审查[4]、网络取证[5]、网络流量监控[6]等具有重要意义.
众所周知,referer是HTTP表头的一个可选字段,用来表示HTTP来源地址,但是,在真实流量统计显示,只有17.
7%的HTTP会话存在referer字段.
因此只依赖referer字段无法获取绝大多数下载资源HTTP会话的网盘资源链接.
同时,NAT[7]、多路组播技术[8]、HTTP代理[9]导致在公网路由节点捕获的HTTP会话的IP地址也不能作为精确追溯其URL跳转链的依据[10].
为此,本文提出了一种基于Cookie的网盘资源在线溯源方法—CookieTracking,具有以下三个创新点:(1)建立了cookie与HTTP会话以及location与HTTP会话的索引.
(2)只需要缓存HTTP会话中的cookie、URL和location字段,大大降低了空间开销,能够适应于骨干网络节点.
.
(3)通过统计分析同一网盘资源对应的多条URL跳转链的唯一公共URL节点,获取网盘资源的分享链接.
2相关工作针对URL溯源,国内外学者的研究并不多.
目前可用于网盘资源溯源的研究方法按可分为两类:第一类是针对网页木马、恶意网页识别[11]而提出的URL跳转链入口URL识别方法.
由于网页木马以及恶意网页等为了躲避爬虫软件的检测通常都会经过多次URL重定向将用户浏览器最终引导向恶意代码网页[11].
这种URL多次跳转给网页木马的识别带来了困难,为此文献[11-17]提出了网页木马等入口URL识别技术.
文献[11]针对twitter上存在的恶意URL识别提出warningbird方法.
Warningbird方法通过twitterstreamingAPIs收集带有URL的推文,找出同一分享URL的多条URL跳转链以及分享URL对应的入口URL.
通过特征提取、训练、分类获取了恶意URL的入口URL的特征.
文献[12]针对网页木马识别提出了Arrow方法.
Arrow方法首先通过高交互式蜜罐收集同一恶意软件的不同URL跳转链.
其次,对比URL跳转链节点的IP和域名获取恶意软件的入口URL.
最后,给入口URL生成正则表达式,根据正则表达式识别网页木马.
文献[11-17]都是通过收集恶意代码网页的URL跳转链,离线学习入口URL的特征,根据这些特征实现恶意代码网页与入口URL(恶意网页、挂马网页)的识别.
这种方法同样可用于网盘资源的URL溯源,但是存在以下缺点:第一:目前的网盘种类多样导致不同网盘的URL跳转链特征并不一致,很难满足所有网盘的URL溯源.
第二:通过调研发现即使对于同一网盘多次下载的特征也会变化.
第三:由于URL特征的多变性,离线学习方法需要巨大的维护成本[15].
第二类是针对NAT和HTTP代理导致骨干网关上数据包的IP地址无法标识用户而提出的在NAT主机识别技术[18-19].
其中,文献[18]通过分析html网页内容,以及HTTP会话中的user-agent字段,实现了对不同用户发出的一系列HTTP请求的关联.
文献[19]通过对用户浏览器的版本和配置等信息产生"浏览器指纹"的方法,识别出不同用户浏览器所发出的的HTTP会话.
这种方法的缺点是:第一:骨干网络大部分的HTTP会话中只包含user-agent,而没有其他的配置信息(字体,插件,时间等).
第二:针对骨干网络的流量,缓存网页内容会极大的加剧空间开销.
3CookieTracking的原理本文将用户点击分享链接,浏览器建立获取网盘资源链接的HTTP会话,到建立下载资源HTTP会话为止,以及这期间浏览器发出的这一系列HTTP请求对应的URL定义为URL跳转链.
对于同一分享链接,每一次下载资源对应的URL跳转链节点的数目,除网盘资源链接的URL相同外,其他URL节点都不相同.
如图1所示案例是用户A,B,C点击网盘分享链接:pan.
baidu.
com/s/1hqvf1vY下载资源所对应的URL跳转链.
除分享链接外,其他的URL节点都不同.
基于以上特点,CookieTracking的基本原理为:首先,从网关流量中识别下载资源并计算资源的标识ID.
然后,获取下载资源的URL跳转链.
最后,合并具有相同资源标识ID的多条URL跳转链,获取唯一的公共URL节点,该节点即为该下载资源对应的分享链接.
下面对这三部分做具体阐述:3.
1识别下载资源并计算资源的标识ID3.
1.
1识别下载资源网盘资源传输的HTTP会话有以下特点:第一、下载资源HTTP会话的contenttype为:vedio/mp4、application/stream等.
第二、真实流量统计显示93%的下载资源HTTP会话的contentlength都在50M以上.
因此可根据上述特点识别出所有包含网盘下载资源在内的下载资源.
3.
1.
2计算资源的标识ID由于下载资源在网络上是按包传输的,在大流量环境中传统缓存整个下载资源数据计算MD5的方法一方面极大的消耗了内存资源,另一方面也增加了分享链接的获取时间.
因此,并不适用于CookieTracking.
为此CookieTracking采用了累计哈希的方法计算下载资源的标识ID.
一方面,对于按包到达的数据只对包缓存,对每个字节累计进行哈希,最终将下载数据其映射成一个64字节的字符串.
另一方面,真实流量中,下载资源的部分数据即可以对资源进行区分,因此,CookieTracking方法只对下载资源的前20%-30%数据做累计哈希.
3.
2获取下载资源的URL跳转链下载资源的URL跳转链具有以下3个特点:(1)由于网盘分享链接允许借助第三方的下载工具下载,下载资源HTTP会话是HTTP重定向的结果,下载资源HTTP会话并无cookie信息.
(2)网盘用户必须允许浏览器使用cookie,因此除下载资源HTTP会话外,URL跳转链的其他节点对应的HTTP会话都含有cookie.
此外,每个节点对应的HTTP话单的Cookie信息存在多个相同的key=value项(本文将其定义为token).
其中某些token是网盘服务器用来追踪用户,于用户一一映射,可以标识用户的访问记录.
为此本文定义了token的区分度:(1)其中Ntoken-cookie为:包含该token的HTTP话单数.
Ncookie为总的HTTP话单数.
进一步,为了提高URL跳转链的准确性,cookieID定义为两个HTTP话单的关联度:(2)为两个HTTP话单的cookie值中高区分度token的个数.
如大于某阈值,即认为这两个HTTP话单属于同一条URL跳转链.
因此,只要获取与下载资源HTTP会话有着高关联度的一系列HTTP话单即可获取URL跳转链.
(3)根据HTTP重定向原理,下载资源HTTP会话的URL与重定向HTTP会话的location相同,而重定向HTTP会话存在cookie信息.
因此,通过下载资源HTTP会话的URL获取重定向HTTP会话.
然后,通过重定向HTTP会话即可获取完整的URL跳转链.
3.
3获取分享链接将相同资源标识ID对应的多个URL跳转链合并,获取多个URL跳转链的唯一公共URL节点,该节点即为该资源的分享链接.
4CookieTracking的实现图2CookieTracking实现架构图如图2所示,为CookieTracking方法的实现架构.
包含五个部分:1.
HTTP话单收集模块,负责对输入的网络流量通过流量捕获平台获取所需HTTP话单(为了降低空间开销,CookieTracking只缓存HTTP会话的头部信息,将其定义为HTTP话单);2.
HTTP话单索引模块,负责解析HTTP话单,对海量的HTTP话单建立cookie字段与HTTP话单的关联;3.
获取下载资源URL跳转链模块,负责根据下载资源HTTP话单获取重定向HTTP话单,根据重定向HTTP话单cookie获取URL跳转链;4.
分享链接查找模块,合并同一下载资源的多个URL跳转链,获取分享链接.
5.
分享链接验证模块,负责比较分享链接下载资源的标识ID与loadrunner[21]模拟访问收集的资源标识ID,比较分享链接正确性.
以上5个模块均并行执行.
下面具体介绍每个模块的实现细节:4.
1HTTP话单收集模块该模块通过网络流量处理平台解析HTTP流量.
首先,过滤出需要的两类HTTP会话信息:(1)如果HTTP话单的contenttype为text/html,且存在cookie字段,将这类HTTP会话信息的三元组信息:(URL、cookie、TCP连接建立时间戳)缓存于HTTP话单队列.
(2)如果HTTP话单的contenttype为video/x-ms-wmv、video/mp4等音视频MIME类型,且该HTTP话单的contentlength大于某阈值,则该HTTP话单为资源下载HTTP会话.
将这类HTTP会话的四元组信息(URL、cookie、TCP连接建立时间戳、下载资源标识ID)缓存于资源下载HTTP话单队列.
其次,计算下载资源HTTP话单的下载资源标识ID,本文采用了累计哈希算法,计算一个64字节的字符串作为下载资源的标识ID,算法伪代码如下:算法1:累计哈希算法1):Input:resourcesize;key;totalaccumulationlength;2):Output:resourceID;3):fori:=0->size4):hashL=hashL^key[i]*BASE1;5):hashH=hashH^key[i]*BASE2;6):accumulationlength++;7):resourceID=hashHdif010):deletetoken[i]11):else12):tokenHTTPhashtabe.
insert(key=token[i],data=HTTP)13):endfor4.
3获取下载资源URL跳转链模块该模块的处理过程包括三步.
Step1:将从下载资源的HTTP话单队列中出队的下载资源的HTTP话单的URL作为key,查找location-HTTP话单哈希表,获取重定向HTTP话单.
Step2:将重定向HTTP话单的cookie分割成token,以token为key,查找token-HTTP话单哈希表,获取所有包含这些token的HTTP话单.
如图3(b)所示,对于某下载资源HTTP话单对应的重定向HTTP话单为locationHTTP,其cookie为locationcookie,分割此cookie为token1、token2、token3,获取三个token分别对应的HTTP话单链,本文将其定义为疑似HTTP话单链.
Step3:遍历疑似HTTP话单链,将HTTP话单作为key,以其出现的频率为value,建立哈希表,统计HTTP话单在疑似HTTP话单链中出现的频率.
如果其频率大于指定关联度阈值,即认为其属于下载资源的URL跳转链.
如图3(b)所示,如果阈值为2,1比较三条HTTP链,则HTTP1、2、3、4话单即为URL跳转链.
获取URL跳转链算法的伪代码如下:算法3:获取URL跳转链算法1):Input:downloadHTTP2):Output:urlchain3):LocationHTTP=location-HTTPhashtable.
Search(key=downloadHTTP)4):token[n]=SplitecookieoflocationHTTPby";"5):fori:=0->n6):HTTPchain[i]=tokenHTTPhashtable.
search(key=token[i])7):endfor8):forj:=0->i*n9):ifexistsHTTP[j]inHTTPfrequencyhashtable10):frequency++11):iffrequency>12):nsertHTTP[j]inurlchain13):endfor14):returnurlchain4.
4分享链接查找模块与从疑似HTTP话单中获取URL跳转链的方法类似,CookieID统计的方法为:遍历相同资源标识ID的下载资源对应的多条URL跳转链的每个节点,建立以URL跳转链节点为key,其出现频率作为value的哈希表,频率最大的URL即为分享链接.
4.
5分享链接验证模块loadrunner模拟用户访问分享链接,重新下载该资源,然后通过累计哈希计算该资源的标识ID值并与CookieTracking计算出的标识ID做对比,如果二者相同,则该资源的分享链接被确定.
5实验和评价下面验证cookieID方法的性能和可扩展性.
首先给出评价指标的定义.
查准率:指查找的正确分享链接所占查找的所有分享链接的比例.
查全率:指查找的所有分享链接占所有下载资源数目的比例.
获取时间:指获取分享链接的时间.
扩展能力:随着流量的增长,查全率和正确率的变化.
(a)查准率(b)查全率实验方法如下:将CookieTracking方法和Arrow方法[12](通过离线学习分享链接URL生成的正则表达式去匹配获取网盘资源分享链接)同时在校园网同一网关上实验,首先,对比CookieTracking方法和Arrow方法的正确率、查全率、获取时间.
然后,对CookieTracking方法进行压力测试,分析其拓展扩展能力.
实验结果为:如图4(a)CookieTracking方法和Arrow方法的查准率基本一致,平均查准率率分别是98.
67%、97.
76%.
如图4(b)所示,CookieTracking的平均查全率为98.
86%,而Arrow方法的查全率为16.
67%.
由此可见,虽然Arrow方法具有和CookieTracking几乎相当的查准率,但是Arrow方法只能对16.
67%的网盘资源实现URL溯源,而CookieTracking方法可以实现98.
86%的网盘资源的URL溯源.
(c)获取时间(d)查准率及查全率随带宽变化图图4实验结果如图4(c)说明随下载资源的增加,CookieTracking的查找时间明显快于Arrow,并且随着下载资源HTTP会话的增加,cookieID方法的查找时间基本保持线程增长,而Arrow方法成指数增长.
同时,如图4(d)所示,压力测试结果表明:随着流量的增长,CookieTracking方法的正确率和查全率基本保持不变.
这证明CookieTracking方法具有很好的拓展扩展性.
6结论网盘资源分享链接作为目前互联网流行的资源传播方式,研究如何从骨干网络节点上的海量流量中识别出网盘下载HTTP会话的分享链接对于网络审查、网络取证、网络审计等具有重要意义.
为此,本文提出一种高效可扩展的网盘资源分享链接获取方法——CookieTracking.
CookieTracking方法首先获取下载资源的URL跳转链,然后通过对比同一下载资源对应的不同URL跳转链获取唯一公共URL节点,认为该URL即为下载资源对应的分享链接.
最后通过loadrunner模拟访问该URL,验证正确性.
实验结果表明:CookieTracking方法具有很好的查准率、查全率、实时性、可拓展扩展性.
下一步的工作是研究如何在更高带宽的骨干网络实现网盘资源分享链接的实时获取.
参考文献:[1]MaierG,FeldmannA,PaxsonV,etal.
Ondominantcharacteristicsofresidentialbroadbandinternettraffic[C]//Proceedingsofthe9thACMSIGCOMMconferenceonInternetmeasurementconference.
ACM,2009:90-102.
[2]GehlenV,FinamoreA,MelliaM,etal.
Uncoveringthebigplayersoftheweb[M].
SpringerBerlinHeidelberg,2012.
[3]MobileTrendsA.
Globalmobilebroadbandtrafficreport[R].
AllotCommunications,TechnicalReport,2010.
[Online].
Available:http://www.
allot.
com/MobileTrendsReport,2010.
[4]BerghelH.
ThedisciplineofInternetforensics[J].
CommunicationsoftheACM,2003,46(8):15-20.
[5]WattsS,NewbyJM,MewtonL,etal.
Aclinicalauditofchangesinsuicideideaswithinternettreatmentfordepression[J].
BMJopen,2012,2(5):e001558.
[6]PanahA,PanahA,PanahO,etal.
Challengesofsecurityissuesincloudcomputinglayers[J].
Rep.
Opin,2012,4(10):25-29.
[7]GokcenY,ForoushaniVA,HeywoodA.
CanweidentifyNATbehaviorbyanalyzingTrafficFlows[C]//SecurityandPrivacyWorkshops(SPW),2014IEEE.
IEEE,2014:132-139.
[8]LiuTT,YangW,XuCL,etal.
ASNR-basedMulti-channelMulticastSchemeforPopularVideoinWirelessNetworks[J].
JournalofNetworks,2013,8(3):628-635.
[9]HaytonSJ,JonesDR,LoboAR,etal.
Usingentitytags(etags)inahierarchicalhttpproxycachetoreducenetworktraffic:U.
S.
PatentApplication13/360,891[P].
2012-1-30.
[10]YenTF,XieY,YuF,etal.
HostFingerprintingandTrackingontheWeb:PrivacyandSecurityImplications[C]//NDSS.
2012.
[11]LeeS,KimJ.
Warningbird:Anearreal-timedetectionsystemforsuspiciousurlsintwitterstream[J].
IEEEtransactionsondependableandsecurecomputing,2013(3):183-195.
[12]ZhangJ,SeifertC,StokesJW,etal.
Arrow:Generatingsignaturestodetectdrive-bydownloads[C]//Proceedingsofthe20thinternationalconferenceonWorldwideweb.
ACM,2011:187-196.
[13]JenefaA,RaviR.
Classifier:AReal-TimeDetectionsystemforsuspiciousURLsinTwitterStream[J].
InternationalJournal,2014,2(2).
[14]AggarwalA,RajadesinganA,KumaraguruP.
PhishAri:Automaticrealtimephishingdetectionontwitter[C]//eCrimeResearchersSummit(eCrime),2012.
IEEE,2012:1-12.
[15]DelosièresL,SánchezA.
DroidCollector:AHoneyclientforCollectingandClassifyingAndroidApplications[M]//InformationSciencesandSystems2014.
SpringerInternationalPublishing,2014:175-183.
[16]Renkema-PadmosA,VolkamerM,RenaudK.
Buildingcastlesinquicksand:blueprintforacrowdsourcedstudy[C]//CHI'14ExtendedAbstractsonHumanFactorsinComputingSystems.
ACM,2014:643-652.
[17]EsheteB,VenkatakrishnanVN.
WebWinnow:leveragingexploitkitworkflowstodetectmaliciousurls[C]//Proceedingsofthe4thACMconferenceonDataandapplicationsecurityandprivacy.
ACM,2014:305-312.
[18]Goldberg,Jeff,MagnusWesterlund,andThomasZeng.
"ANetworkAddressTranslator(NAT)TraversalMechanismforMediaControlledbyReal-TimeStreamingProtocol(RTSP).
"(2014).
[19]Maier,Gregor,FabianSchneider,andAnjaFeldmann.
"NATusageinresidentialbroadbandnetworks.
"PassiveandActiveMeasurement.
SpringerBerlinHeidelberg,2011.
[20]Patel,Bhoomit,JayParikh,andRushabhShah.
"AReviewPaperonComparisonofSQLPerformanceAnalyzerTools:ApacheJMeterandHPLoadRunner.
"(2014)