爬虫爬虫代理

管理旅行公司内的爬虫但是,爬虫可能会影响站点性能、搜索可见性、站点体验,甚至削弱你的竞争优势.
如果旅行公司不知道其站点上存在哪种类型的爬虫,就无法开展行动来减少爬虫对客户体验造成的影响.
那么,爬虫与旅行行业有什么关联简而言之,爬虫是旅行公司站点上的自动流量.
它们具有许多不同的目的-既有积极的,也有消极的.
爬虫会影响:客户查找站点的方式;站点上的体验质量;营销准确性;产生的分析信息、竞争定位以及(甚至更直接地)最终效益.
旅客如何搜索及选择旅行和酒店住宿:一旦旅客决定规划行程,第一步通常是搜索要选择的旅行和酒店.
在这一过程中,他们可能会首先使用传统的搜索引擎(如Google等)、OTA网站(如Expedia、Priceline等),甚至也可能直接使用酒店提供商的网站(如United、Hilton等).
爬虫在这里就扮演着重要的角色.
搜索引擎创建爬虫以爬找网站内容并返回有关网站内容的信息,从而帮助确定这些网站在搜索结果中的优先级.
必须确保搜索引擎爬虫识别到较高的网站性能表现,以避免影响网站排名.
旅行公司还需要考虑搜索引擎不断变化的角色.
以GoogleFlights为例.
除了将旅客连接到OTA或提供商的站点外,Google现在还可以提供实际的行程搜索功能、结果和预订信息.
对于可能已经阻止爬虫爬找行程生成器的旅行公司而言,这让他们需要考虑另一个因素.
如果Google(或者Yahoo、Bing或其他搜索引擎)希望提供此功能,情况会怎样您是会阻止它们,还是鼓励它们旅行公司也会创建爬虫,或与第三方服务签约以爬找自己的站点,以便评估SEO工作的有效性.
爬虫的交互行为,一方面涉及通过其他渠道(OTA或传统旅行代理商)销售旅行公司的产品或服务的合作伙伴.
他们将爬找站点,以确保旅行行业的爬虫问题爬虫是旅行公司日常面对的问题,其占据了30%或更多的旅行站点流量.
1从外到内,爬虫天生就对那些高度动态的行业非常适应——价格和时刻表不断改变,但却总是超过Deadline.
面对如此多的不断变化,合法的一方和恶意的一方都很难获取最新信息—因此诞生了爬虫.
相比通过自动程序来搜索互联网以查找最新和相关的数据,跟聚合航班、时刻表、价格和酒店空房信息的最佳方法也在发生变化.
他们拥有最新的定价和内容.
这种目的是正当的,并且可以带来实实在在的好处(扩大业务范围和受众).
但是,旅行公司需要确保这些爬虫在不对网站体验造成负面影响的情况下获得所需的信息.
现场体验:一旦旅行公司将客户引导到它的网站上,它必须确保提供高质量的体验,使得购物者可以轻松、快速地找到他们想要的产品或服务.
但是,30%或更多的流量来自于爬虫[如果要重复此信息,则肯定需要引用以上内容],这意味着,无论爬虫具备何种类型或目的,网站性能都将会降低,从而导致合法的人工流量得到负面体验.
营销数据和分析:网站上的体验也由数据驱动.
由于越来越多的旅客期待获得个性化礼宾服务体验,旅行公司需要充分利用他们在自己的网站上获取的数据.
这使得他们能够提供更加个性化的体验,从而带来更多价值更高的销售.
但是,爬虫流量激增会造成营销数据损坏、失效,而这些数据对推动关键营销战术和战略决策具有重要作用.
爬虫会扭曲数据并错误展示客户的真正性质,导致从数据集得出无效的结论.
客户忠诚度/品牌知名度:忠诚的客户是非常重要的-他们购买的产品更多,购买频率更高,并且会在社交渠道上为品牌提供支持.
与客户建立信任、将其拉入这一高级阵营极具挑战性,但也很有价值.
但是,第三方使用的爬虫可能会成为零售商及其客户之间的阻碍,从而影响客户关系.
例如,当客户搜索旅行解决方案(航班、酒店、租车等)时,爬找站点信息的爬虫经常可能让客户感到困惑并偏离正确的方向.
如果相同的产品出现在多个站点上,可能会对旅行公司的品牌造成巨大影响,这可能会导致客户改变忠诚度.
旅行公司也无法收集客户数据,随着数据迅速成为未来的货币,此问题也越来越受到关注.
财务状况:在航班预订业中,爬虫和成本之间存在直接关联.
如果爬虫在站点上生成查询(无论是出于良好或糟糕的理由),这些请求都会发送到全球经销系统(GDS),该系统将会发回相应的信息.
每次GDS对请求作出回应时,生成请求的站点都会增加自身的负荷.
如果30%的流量都来自爬虫,且每天发生数千(甚至数十万)个请求,则旅行站点因那些不能带来收入的活动所付出的成本将会迅速激增.
另一种影响收入的方式是,未经授权的第三方爬找某个旅行站点的内容.
如果此数据用于在第三方站点上获得旅行收入,则受害站点会失去交叉销售或增销的机会.
预计,对于航空公司而言,每个旅客在这方面带来的收入可能是20-40美元—这是额外收入的重要来源.
2竞争:在竞争方面,站点上的爬找是一大问题.
在信息公开共享以便提供更好的客户体验的同时,也意味着竞争对手可以爬找站点信息,以确保他们提供同等或更好的定价和产品.
可通过爬虫轻松做到这一点,从而让该流程实现自动化和扩展,达到超越人类竞争对手的水准.
管理旅行公司内的爬虫管理旅行公司内的爬虫要了解更多关于BotManager的信息,请在这里访问我们.
2016AkamaiTechnologies,Inc.
保留所有权利.
未经明确书面许可,严禁以任何形式或介质全部或部分复制.
Akamai和Akamai波浪徽标是Akamai的注册商标.
本文档中的其他商标均为其各自所有者的财产.
Akamai确信此刊物中的信息在其发布日期之前均准确无误;此信息可能随时更改,恕不另行通知.
发布时间:2016年4月.
爬虫的有利之处理想的解决方案可根据发现的爬虫类型,允许旅行公司对爬虫流量进行管理,以确保获得尽可能最佳的结果—最大化正面影响和最小化负面影响.
阻止所有程序或甚至只是阻止恶意爬虫只是一种临时解决方案,从长期来看此方法效率低下—被阻止的爬虫还会再次出现,并且变得更加智能和迅速.
通过管理允许这些爬虫与站点进行交互的方式,旅行公司可最大程度降低爬虫带来的负面影响,并且不会让爬虫操作员知晓他们已经被发现.
两种常见的解决方案:减慢爬虫爬找的速度,从而降低它们收集的信息的价值和时效性,或者为它们提供备用信息—将它们转至内容不准确的页面.
这两种都是出色的解决方案,其考虑到了旅行如何受到最后期限的制约.
当然,爬虫也为旅行公司提供了好处.
他们可以帮助改进搜索结果,改进SEO,以及在搜索引擎化身预订代理商(比如GoogleFlights)的情况下,使得旅行提供商能够以更低的点击量将自身品牌面向客户曝光.
旅行公司需要了解其网站存在哪些爬虫以及它们的行为而不是简单地阻止(恶意)爬虫—这使得他们可以启动相关策略,从而增加良好的爬虫行为和管理恶意的爬虫行为.
AkamaiBotManager:为了有效应对爬虫解决方案的当前状况,Akamai为那些不知如何应对有效爬虫程序的旅行公司创建了一套独特的备选方案.
该解决方案旨在允许组织识别、分类和管理良好和恶意的爬虫,以便实现其网站的目标.
BotManager提供了一系列管理操作(不仅仅是阻止)来帮助组织最大程度增加爬虫流量带来的正面影响,并最大程度减少负面影响.
届时,他们将能够分析并报告活动,以提高对爬虫问题的了解.
除了解和报告爬虫流量外,BotManager还可帮助组织整理其内部营销数据.
爬虫流量可能会严重扭曲网站和页面访问统计信息,导致很难理解与站点交互的真实用户的行为.
BotManager可识别爬虫生成的请求,以便从人工流量中滤除爬虫流量,这可以改进营销数据和分析,从而带来更好的业务决策.