保护在线业务,防止凭据

填充攻击借助先进的爬虫程序管理技术,抢先一步预防威胁当有人登录您网站的时候,该如何区别合法使用和凭据填充行为倘若无法判定登录来自于真实用户还是模拟用户的软件程序,您的企业就容易受到欺诈.
随着在线应用程序的大量涌现,多数用户没有遵循良好的互联网安全做法——通常在多个帐户中重复使用相同的登录凭据.
这使得每个带有登录页面的在线业务都成为凭据填充的潜在攻击目标,无论是否发生过数据泄露.
交易价值越高,风险也随之增加.
欺诈者可以从网上商店购买商品,从金融机构窃取银行贷款,或者从医疗保健场所窃取医疗信息.
凭据填充可能会损害您的业务、客户和品牌,对于这样一种隐秘攻击,您需要专门的工具来进行检测和防范.
认识凭据填充威胁及其日益增加的复杂性,以及阻止这些威胁的最佳方法,可以帮助您保护自己的企业.
与凭据填充有关的总成本(包括与欺诈相关的损失、运营安全性、应用程序停机和客户流失)每年可能在600万至5400万美元之间.
资料来源:《凭据填充带来的损失》,PonemonInstitute,2017年最近的行业估计资料显示,被盗用凭据(用户名、密码和电子邮件地址)的数量目前为数十亿.

根据Frost&Sullivan2017年的一份报告,"对于攻击者来说,这仅仅是一个数字游戏.
10亿次攻击尝试中,1%的成功率将会导致1000万起数据泄露事件.
"用户凭据通常会在其他地方被破解.
然后,这些信息在黑市上以单包或多包的形式出售,以低于1美元的价格售出优质内容,或者以几千美元的价格出售内含大量余额的银行账户信息.
FTC的研究发现,黑客只要花9分钟时间就可以访问已"公布"的被盗凭据.
您的网络和数据可以得到适当的保护,但是如果在找到成功组合方案之前无法发现并阻止凭据填充,那么您的业务仍然面临遭受欺诈的风险.
最近,PonemonInstitute的一项调查显示,超过半数的受访者认为,凭据填充是他们公司所面临的重大安全挑战.
此外,近70%的受访者表示,他们不觉得(或不确定)他们的公司足够重视这些攻击.
即便最安全的企业也可能遭受威胁.
凭据滥用购买凭据登录验证凭据经济利益购买帐户数据凭据填充开始初期,攻击者会试图在您的网站登录系统中验证盗用的用户信息.
一旦确认了有效的登录凭据子集,攻击者就会将该列表转售给另一个诈骗者,或者直接进行帐户接管——"榨取"在线帐户中可获利的一切内容.
与其他Web应用程序攻击(如SQL注入)不同,来自凭据填充的登录请求没有可轻松识别和阻止的模式.
经验证的凭据为有效的请求,尽管试图验证帐户的实体并不合法,但登录信息是合法的,这样一来几乎不可能被发现.
幸运的是,验证被盗凭据(或凭据填充)的过程不太可能手动完成.
这正是您介入的时机.
验证通常是自动化的,这使得凭据填充从一开始便成为一个爬虫程序问题.
凭据填充可导致帐户接管.
您阻止凭据填充攻击的能力,取决于您检测和抵御爬虫程序的能力.
在发生帐户接管之前阻止此活动,可以使您:更容易地识别凭据滥用,因为爬虫程序生成的登录请求比人为接管帐户更易于捕获.

通过减少欺诈者可用的经验证凭据的数量,降低帐户接管尝试的发生率.

降低您网站对欺诈者的吸引力,欺诈者往往会转向受保护程度较低的目标.

简而言之,爬虫程序就是连接至互联网的服务器上运行的一个软件,与其他在线实体(如您的网站)进行交互.
多个爬虫程序捆绑在一起就形成了一个称为"僵尸网络"的网络,可以快速完成在其他情况下非常耗时的过程,例如输入数百、数千或数万个登录凭据.
该软件背后是爬虫程序的操作者,即创建脚本的个人或组织.
关注爬虫程序问题.
爬虫程序占据着如今网站总流量的30%至70%.
资料来源:爬虫程序管理的10个首要考虑因素一旦检测到爬虫程序,您的回应会影响解决方案的可持续性.
如果一个操作者发现您已经发现了该爬虫程序,就会试着找出被发现的原因,并且更新软件以避免被再次发现.
正是因为有利可图的帐户接管机会,凭据填充吸引了一些经验最丰富的爬虫程序操作者,致使爬虫程序的进化速度更快.

爬虫程序的大小、形式各异,涉及从简单脚本到复杂自动化工具等多种形式,而且可随着时间推移而不断变化.
您可以通过衡量登录的流量模式或所使用的技术和功能,来评估凭据填充威胁背后的复杂性.
如果您只是局限于寻找登录高峰,其他更严重的活动就可能不会被发现.
大多数网站每天都会与各种各样的威胁进行交互,从明显的自动化操作到最隐秘的爬虫程序行为.
对于来自一些IP地址的暴力破解攻击,与使用记录的人类行为的爬虫程序(每个IP地址有极少或者分散的请求),我们需要不同的应对策略.
威胁正在快速演变.
通过24小时内检测到的各种级别的流量模式,观察爬虫程序的复杂性高度复杂始终处于活跃状态中度复杂在业务时间之后与正常流量混合低度复杂以小时计算的大型尝试高峰爬虫程序人为观察爬虫程序技术和功能随着复杂度增加发生的变化单个IP多个IP低请求速率随机化用户代理浏览器假冒会话重播完全Cookie支持JavaScript支持浏览器指纹假冒记录的人类行为随着检测技术的提升,爬虫程序操作者使用的逃避技术也在不断变化.
一项有效的爬虫程序管理策略并非一成不变,必须考虑当前和未来的爬虫程序形势,从而防患于未然.
让我们按照复杂程度(高、中、低)来审视一下各项威胁,从而确定哪种爬虫程序管理方法适合您的企业.
低度复杂从单个IP地址或多个地址生成大规模登录请求高峰,比合理的人为产生流量高出几倍利用随机化用户代理生成器、浏览器模拟以及会话重播在没有专门的爬虫程序检测功能的情况下,触发来自流量管理和安全工具的警报最简单的凭据填充形式始于爬虫程序的重复登录尝试.
来自单个IP地址的请求增加容易被标准的流量管理工具捕获和阻止,但前提是其形式不发生变化.
跟上爬虫程序日益复杂化的步伐.
接下来,操作者转移到具有多个IP地址的僵尸网络,从几个到数百个不等,每个IP地址的登录请求数量只是之前的一小部分.
依然可以阻止这些请求,但随着IP数量的增加,任务开始变得繁重.
速率限制可以自动阻止单个IP地址在给定时间内超过最大请求数阈值.
但是,操作者可能会再次降低请求率而不被发现.
为更好地模拟浏览器所产生的流量,操作者随后便更新程序以假冒各种请求标头字段,如用户代理.
Web应用程序防火墙(WAF)或内部工具可通过使用自定义规则,识别和阻止特定标头字段,进而阻止这些依然简单的爬虫程序.
然而,随着威胁的演变,这些解决方案很快就变得不可持续.

例如,如果您检测出来自普通用户代理的僵尸网络登录请求,就可以创建识别和阻止它们通过的规则.
但是,操作者可能在被阻止之后更改用户代理,这就需要您再次投入精力去寻找它.
如果没有一个专门的爬虫程序管理解决方案,您就会遭遇"瓶颈"(通常是在速率限制方面),专业知识和资源跟不上来.
中度复杂产生一系列明显的集中请求,通常在一夜之间发生,但是峰值达到与合理流量类似的水平利用JavaScript和完整的Cookie支持需要爬虫程序管理技术合作伙伴或解决方案来进行检测和预防动态IP——成百上千个在多个IP地址间循环的爬虫程序,可能降低速率控制的有效性.
注入JavaScript质询往往是对付这些难以检测,但仍相对简单的爬虫程序的第一步.
然而,JavaScript只是一种编程语言,您在自动化攻击中使用它的方式决定了它的有效性.
引入爬虫程序不理解的语言可以抵御部分威胁,但是对于更复杂的爬虫程序则无济于事.
更先进的工具可支持JavaScript,并且能够绕开验证步骤.
不妨加入浏览器指纹识别——注入JavaScript并非为了设置验证步骤,而是为了收集身份信息.
借助浏览器指纹识别,JavaScript收集各种特征,如屏幕分辨率、浏览器类型、插件和字体.
这些细节可确定客户端是否建立在自动化或无头浏览器上,并可识别能揭示其来源的独特特征组合.
跟上爬虫程序日益复杂化的步伐.
一旦获取指纹,就可以分析特征以发现异常.
例如,某种浏览器不支持特定的插件——可用于识别和响应威胁的各种细节.
您还可以保存指纹,然后,如果发现它从不同的设备上执行重复操作,譬如作为凭据填充攻击的一部分,那么它就更有可能是一个爬虫程序.
浏览器指纹识别技术是目前应用最为广泛的一种检测技术,但目前存在一些主流的浏览器指纹假冒工具,并且易于获取和部署.
一个高明的爬虫程序操作者或有恒心的欺诈者可以避开浏览器指纹识别,对于那些依靠凭据填充业务谋取更多利益人来说,这是一种不太有效的威慑手段.

高度复杂在24小时内,从大规模分布式僵尸网络中生成低速和缓慢的活动,由成千上万个爬虫程序组成,并且每一个仅发送少数登录请求.
利用一次性IP地址、浏览器指纹假冒,以及记录的人为行为需要拥有先进行为异常分析能力的专用爬虫程序检测措施来进行检测对于不太精明的爬虫程序操作者,HTTP异常检测、JavaScript验证步骤和浏览器指纹识别就足以捕获其活动.
但是,能够组建大规模分布式僵尸网络的操作者很可能会绕过这些防御策略.

要管理该项高度复杂的威胁,需要可以跟踪和分析行为异常的高级爬虫程序检测措施.

最新的爬虫程序管理技术包括行为遥测技术,可以区分人为行为和爬虫程序行为.
行为异常分析使用来自用户输入设备的检测值,例如来自计算机或加速度计的键盘敲击和鼠标移动,以及移动电话或平板电脑的陀螺仪读数.
例如,人类行为不能以完美的物理直线移动鼠标,因而鼠标以这种方式与网站交互不可能是人类行为.
当放在一起进行分析的时候,这种遥测技术可以对用户性质(是人还是爬虫程序)做出高度准确的判断.
跟上爬虫程序日益复杂化的步伐.
当然,爬虫程序操作者可以开发结果看似随机的遥测技术,使分辨变得更加困难.
并且当一系列遥测技术奏效时,可以在多个爬虫程序上重复使用.
挫败这些技术的关键就在于遥测分析.

由于最为复杂的爬虫程序可改变自身模式来更好地模仿人类用户,行为异常分析的成功取决于能够多好地识别非人类行为活动的微小差异.
这就需要经深入微调的机器学习算法来分辨出人类和爬虫程序行为之间的差异.

210人为210爬虫程序人类按压键盘的模式是每次按压之间呈现不规律的间隔,而爬虫程序则在每次按压之间存在规律的间隔.

140000120000100000800006000040000200000爬虫程序人为在8天时间内,人和爬虫程序尝试登录一家领先时装零售商登录页面的次数在经受了每小时超过131,000次请求的大规模攻击高峰之后,一家领先的时装零售商开始采用AkamaiBotManagerPremier来阻止爬虫程序流量.
结果,不仅检测到的爬虫程序登录流量降低到统计学意义上不显著的水平,而且人为登录流量也没有变化.
提到凭据填充,最大程度地减少误报至关重要.
对于模仿人类行为的高度复杂的爬虫程序活动尤其如此.
错误地将访客视为爬虫程序可能会阻止您的用户访问其帐户,造成不愉快的客户体验并失去商机.
70%以上的PonemonInstitute调查受访者认为,阻止凭据填充攻击是困难的,因为治理不法行为的同时,也可能损害合法用户的网络体验.
针对这些更复杂威胁的先进机器学习技术和行为异常分析,可以让应对策略更加准确.
算法越精细,分析才会越精确,从而尽可能减少可能在无意间阻止合法用户登录的性能影响和信息误报.

最大程度地减少误报.
您投入爬虫程序管理解决方案的资金(无论是内部还是外包,基础还是高级),都应该与凭据填充可能对您的业务产生的潜在财务或品牌影响相称.
通常,您在这一领域的利益与欺诈者对等:您损失的钱财越多,他们"获利"就会越丰.
您可以通过量化活动范围并将其与已知指标绑定来评估影响,例如:被骗的钱财.
使用被盗凭据的欺诈交易的平均价值——不同行业之间指标会有所不同,但要包括平均订单价值或账户余额.
防止欺诈的代价.
许多组织都有按照查找次数定价的反欺诈解决方案——通过减少被破解帐户的发生率,能够降低这些解决方案的成本.
补救成本.
尽早发现欺诈企图可以减少补救费用——通知客户更改凭据的成本要低于指派代表进行欺诈调查的成本.
失去客户的代价.
欺诈交易可能会造成客户丢失——多数行业都有一个衡量客户终身价值的指标.
评估"凭据填充"对经济的影响.
这里举了一个例子.
假设:1,000,000次欺诈登录尝试/每月20个被盗帐户/每月反欺诈解决方案每次查找花费0.
01美元欺诈交易的平均价值为500美元每个帐户的补救成本为1000美元平均顾客终身价值为2,000美元被盗帐户造成的损失率为20%1,000,000*$.
01=减少防欺诈成本$10,000/每月20*$500=避免欺诈成本$10,000/每月20*$1,000=避免补救成本$20,000/每月20*20%*2,000=丢失客户价值$8,000/每月$10,000+$10,000+$20,000+8,000=总价值$48,000/每月加上登录请求高峰时可能的应用程序停机时间,经济影响程度还会更高.

Akamai的一家金融服务客户通过自己的反欺诈团队计算了欺诈者接管500个帐户所造成的经济损失:损失总金额为100万美元,平均每个帐户的损失金额为1,923美元.
要成功管理并抵御最新爬虫程序威胁(例如凭据填充),您需要一个先进的专用爬虫程序解决方案,该方案要具有最新和最先进的检测功能.
如今,这就意味着行为异常分析和机器学习算法的误报率要尽可能降低.
然而,您所面临的爬虫程序问题不仅仅是凭据填充,Web剽窃、内容聚合和良性爬虫程序管理等方面都需要更全面的爬虫程序管理策略.
全面的爬虫程序管理解决方案的主要要求包括:可应对日益复杂的威胁的专门爬虫程序检测技术以最新、最先进的检测手段应对爬虫程序的持续演变在登录基础设施的繁忙状态下,通过云支持提供流量高峰处理通过高度精确的检测算法确保合法用户的体验保护登录页面以及整个网站,使其免于遭受爬虫程序攻击提供高级操作和条件性操作,以便真正管控爬虫程序流量,而不仅仅是"抵御"洞悉爬虫程序流量,应对逃避检测的新方法"凭据填充"只是诸多爬虫程序问题之一.
为了更好地了解在线威胁,爬虫程序管理工具还应该轻松整合到您的整个Web安全策略当中.
完整的安全解决方案应包含WAF、分布式拒绝服务(DDoS)攻击防护和爬虫程序管理功能,将帮助您更好地识别您网站面临的威胁的真实性质.
例如,一次流量高峰造成登录服务器瘫痪,乍一看就像是一次DDoS攻击.
如果您只有DDoS防护,阻止该次攻击可能会给您造成已抵御该风险的错觉.
但是,将DDoS防护与爬虫程序管理结合使用后,您可以随时抵御攻击,并且找出根本原因——凭据填充造成的登录请求高峰.