电子技术论文发表基于广度优先搜索的网络蜘蛛设计

蜘蛛统计  时间:2021-05-20  阅读:()

电子技术论文发表可以让网络工程师用来评职称,也可以作为学者之间的学术交流来使用.
本篇论文是选自计算机期刊《信息与电脑》上的一篇论文范文,全文如下,以供各位同行下载及参考.
【摘要】网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的焦点之一,如何使搜索引擎快速准确地从庞大的网页数据中获取所需资源的需求是目前所面临的重要问题.
本文重点阐述了搜索引擎的WebSpider(网络蜘蛛)的搜索策略和搜索优化措施,提出了一种简单的基于广度优先算法的网络蜘蛛设计方案,并分析了设计过程中的优化措施.
【关键词】搜索引擎,网络蜘蛛,搜索策略0引言近年来,随着Internet技术的广泛应用,传统的通用搜索引擎,如Google、Fast、AltaVista和GoTo等正面临巨大的挑战.
挑战之一是Web信息资源呈指数级增长,搜索引擎无法索引所有页面.
据统计,目前Web上静态页面的数量超过40亿个,而且这一数量还在以平均每天730万个页面的速度递增.
在过去的几年中,尽管各种通用搜索引擎在索引技术、索引数量上有所提高,但远远无法跟上Web本身的增长速度,即使是目前全球最大的搜索引擎Google,其索引的页面数量仅占Web总量的40%;挑战之二是Web信息资源的动态变化,搜索引擎无法保证对信息的及时更新.
近年来的研究表明,Web上的页面平均50天就有约50%的页面发生变化,而目前通用搜索引擎更新的时间至少需要数星期之久;挑战之三是传统的搜索引擎提供的信息检索服务,不能满足人们日益增长的对个性化服务的需要.
因此如何设计网络蜘蛛(WebSpider)来更有效率的爬取互联网上的内容成为搜索引擎的一个首要问题.
在设计网络蜘蛛时,不仅需要充分考虑到爬取的效率和站点设置的灵活性还要确保系统的稳定性.
一个优秀的搜索引擎,需要不断的优化网络蜘蛛的算法,提升其性能.
本文在分析网络蜘蛛的工作原理的基础上,提出了一种基于广度优先搜索算法的网络蜘蛛的实现,并对提高网络蜘蛛搜索效率的相关看法.
由于不可能抓取所有的网页,有些网络蜘蛛对一些不太重要的网站,设置了访问的层数.
[2]例如,在上图中,A为起始网页,属于0层,B、C、D、E、F属于第1层,G、H属于第2层,I属于第3层.
如果网络蜘蛛设置的访问层数为2的话,网页I是不会被访问到的.
这也让有些网站上一部分网页能够在搜索引擎上搜索到,另外一部分不能被搜索到.

vdsina:俄罗斯VPS(datapro),6卢布/天,1G内存/1核(AMD EPYC 7742)/5gNVMe/10T流量

今天获得消息,vdsina上了AMD EPYC系列的VDS,性价比比较高,站长弄了一个,盲猜CPU是AMD EPYC 7B12(经过咨询,详细CPU型号是“EPYC 7742”)。vdsina,俄罗斯公司,2014年开始运作至今,在售卖多类型VPS和独立服务器,可供选择的有俄罗斯莫斯科datapro和荷兰Serverius数据中心。付款比较麻烦:信用卡、webmoney、比特币,不支持PayPal...

香港最便宜的vps要多少钱?最便宜的香港vps能用吗?

香港最便宜的vps要多少钱?最便宜的香港vps能用吗?香港vps无需备案,整体性能好,而且租用价格便宜,使用灵活,因为备受站长喜爱。无论是个人还是企业建站,都比较倾向于选择香港VPS。最便宜的香港vps能用吗?正因为有着诸多租用优势,香港VPS在业内颇受欢迎,租用需求量也在日益攀升。那么,对于新手用户来说,香港最便宜的vps租用有四大要点是务必要注意的,还有易探云香港vps租用最便宜的月付仅18元...

gcorelabs:美国GPU服务器,8张RTX2080Ti,2*Silver-4214/256G内存/1T SSD/

gcorelabs提供美国阿什本数据中心的GPU服务器(显卡服务器),默认给8路RTX2080Ti,服务器网卡支持2*10Gbps(ANX),CPU为双路Silver-4214(24核48线程),256G内存,1Gbps独享带宽仅需150欧元、10bps带宽仅需600欧元,不限流量随便跑吧。 官方网站 :https://gcorelabs.com/hosting/dedicated/gpu/ ...

蜘蛛统计为你推荐
University163存在问题的应用软件名单(2020年第四批)支持ipad支持ipad支持ipad支持ipadipad连不上wifi苹果ipad突然连不上网了,是怎么回事?网络是好的,手机能上网。联通iphone4联通iphone4好用吗win7还原系统电脑怎么恢复出厂设置win7旗舰版ipad无法加入网络ipad无法加入网络但是手机能用
外国服务器 56折 主机合租 铁通流量查询 优酷黄金会员账号共享 华为云盘 闪讯官网 创建邮箱 上海电信测速网站 photobucket 服务器托管价格 数据湾 xshell5注册码 美国十大啦 webmin 删除域名 认证机构 wannacry勒索病毒 以下 linux命令vi 更多