电子技术论文发表基于广度优先搜索的网络蜘蛛设计

蜘蛛统计  时间:2021-05-20  阅读:()

电子技术论文发表可以让网络工程师用来评职称,也可以作为学者之间的学术交流来使用.
本篇论文是选自计算机期刊《信息与电脑》上的一篇论文范文,全文如下,以供各位同行下载及参考.
【摘要】网络蜘蛛搜索策略的研究是近年来专业搜索引擎研究的焦点之一,如何使搜索引擎快速准确地从庞大的网页数据中获取所需资源的需求是目前所面临的重要问题.
本文重点阐述了搜索引擎的WebSpider(网络蜘蛛)的搜索策略和搜索优化措施,提出了一种简单的基于广度优先算法的网络蜘蛛设计方案,并分析了设计过程中的优化措施.
【关键词】搜索引擎,网络蜘蛛,搜索策略0引言近年来,随着Internet技术的广泛应用,传统的通用搜索引擎,如Google、Fast、AltaVista和GoTo等正面临巨大的挑战.
挑战之一是Web信息资源呈指数级增长,搜索引擎无法索引所有页面.
据统计,目前Web上静态页面的数量超过40亿个,而且这一数量还在以平均每天730万个页面的速度递增.
在过去的几年中,尽管各种通用搜索引擎在索引技术、索引数量上有所提高,但远远无法跟上Web本身的增长速度,即使是目前全球最大的搜索引擎Google,其索引的页面数量仅占Web总量的40%;挑战之二是Web信息资源的动态变化,搜索引擎无法保证对信息的及时更新.
近年来的研究表明,Web上的页面平均50天就有约50%的页面发生变化,而目前通用搜索引擎更新的时间至少需要数星期之久;挑战之三是传统的搜索引擎提供的信息检索服务,不能满足人们日益增长的对个性化服务的需要.
因此如何设计网络蜘蛛(WebSpider)来更有效率的爬取互联网上的内容成为搜索引擎的一个首要问题.
在设计网络蜘蛛时,不仅需要充分考虑到爬取的效率和站点设置的灵活性还要确保系统的稳定性.
一个优秀的搜索引擎,需要不断的优化网络蜘蛛的算法,提升其性能.
本文在分析网络蜘蛛的工作原理的基础上,提出了一种基于广度优先搜索算法的网络蜘蛛的实现,并对提高网络蜘蛛搜索效率的相关看法.
由于不可能抓取所有的网页,有些网络蜘蛛对一些不太重要的网站,设置了访问的层数.
[2]例如,在上图中,A为起始网页,属于0层,B、C、D、E、F属于第1层,G、H属于第2层,I属于第3层.
如果网络蜘蛛设置的访问层数为2的话,网页I是不会被访问到的.
这也让有些网站上一部分网页能够在搜索引擎上搜索到,另外一部分不能被搜索到.

digital-vm:VPS低至$4/月,服务器$80/月,10Gbps超大带宽,不限流量,机房可选:日本新加坡美国英国西班牙荷兰挪威丹麦

digital-vm,这家注册在罗马尼亚的公司在国内应该有不少人比较熟悉了,主要提供VPS业务,最高10Gbps带宽,还不限制流量,而且还有日本、新加坡、美国洛杉矶、英国、西班牙、荷兰、挪威、丹麦这些可选数据中心。2020年,digital-vm新增了“独立服务器”业务,暂时只限“日本”、“新加坡”机房,最高也是支持10Gbps带宽... 官方网站:https://digital-vm.co...

华纳云E5处理器16G内存100Mbps688元/月

近日华纳云商家正式上线了美国服务器产品,这次美国机房上线的产品包括美国云服务器、美国独立服务器、美国高防御服务器以及美国高防云服务器等产品,新产品上线华纳云推出了史上优惠力度最高的特价优惠活动,美国云服务器低至3折,1核心1G内存5Mbps带宽低至24元/月,20G ddos高防御服务器低至688元/月,年付周期再送2个月、两年送4个月、三年送6个月,终身续费同价,有需要的朋友可以关注一下。华纳云...

一键去除宝塔面板各种计算题与延时等待

现在宝塔面板真的是越来越过分了,删除文件、删除数据库、删除站点等操作都需要做计算题!我今天升级到7.7版本,发现删除数据库竟然还加了几秒的延时等待,也无法跳过!宝塔的老板该不会是小学数学老师吧,那么喜欢让我们做计算题!因此我写了个js用于去除各种计算题以及延时等待,同时还去除了软件列表页面的bt企业版广告。只需要执行以下命令即可一键完成!复制以下命令在SSH界面执行:Layout_file="/w...

蜘蛛统计为你推荐
交换机route大学生就业信息获取与信息分析支持ipad支持ipadexportingjava支持ipad支持ipad请仔细阅读在本报告尾部的重要法律声明重庆网通重庆联通现在有哪些资费???ipadwifiipad wifi信号差怎么办
英文域名 北京域名注册 韩国vps俄罗斯美女 免费二级域名申请 赵容 卡巴斯基永久免费版 cpanel空间 ftp免费空间 防cc攻击 阿里云邮箱申请 ncp 最新优惠 远程登录 西安电信测速网 国外bt网站 彩虹云点播网页版 宏讯网 美国凤凰城旅游 杭州电信营业厅 更多