封面
《网络舆情分析系统的研究与设计》Word格式可编辑可修改
精心整理放心阅读欢迎下载
文档信息
网络舆情分析系统的研究与设计
目录
一、 网络舆情分析系统的总体模型概括
二、 网络舆情信息的预处理技术手段
三、 网络舆情分析系统的语义分析技术
四、结语
正文
网络舆情分析系统的研究与设计
施敏
摘要 网络舆情是指在一定的社会空间内通过网络围绕中介性社会事件的发生、发展和变化 民众对公共问题和社会管理者产生和持有的社会政治态度、信念和价值观。随着科技的发展政府迫切需要更好地监控与引导网络本文通过研究现今网络舆情分析系统的技术特征并根据需要介绍了网络舆情分析系统的一种可行模型能够提高网络舆情分析的准确性和灵活性有效促进我国网络舆情分析工作的迅速发展
关键字 网络舆情 网页文本结构化文本分类文本聚类
互联网的高速发展使网络信息越来越难以处理所以传统的以人工分类为基础的处理方式已完全不能够适应如此规模的网络信息量得处理工作。作为一个新的研究课题对网络舆情的监控和分析必须建立在高科技的现代信息技术当中从而能够及时面对网络舆情并第一时间对其进行主动控制和疏导。
一、 网络舆情分析系统的总体模型概括
网络舆情分析系统根据用户的不同需求对特定种类的以网络为载体的新闻和消息在收集后通过网页净化、词频统计等手段对信息进行有效的预处理活动并将预处理的所得结果入库并通过数据挖掘算法对信息进行分析最后会得到一定时期内网络所出现出现的热点信息并对其进行追踪得到事件的详细信息。
输入输出层面
输入层指互联网搜索、数据源等。随着网络在获取信息方面的便捷性和灵活性的提高许多信息平台如博客、新闻和政府网站都成为网络舆情的监控源。输出层一般来说指的是前端展示输出对于网络舆情分析系统来说其输出程序主要根据用户需要提供信息其信息的种类呈现出多样化的特点。
业务处理层面
网络舆情系统信息采集以及预处理方式
网络舆情监控系统需要在了解用户需求的前提下设定所需主题或目标并利用人工和自动相结合的信息采集手段完成信息收集的任务。 网络舆情信息预处理是网络舆情信息分析系统的准备阶段能够对网页当中的信息进行数据清洗和分类处理后形成格式化的数据然后上传到数据库并进行信息过滤滤除无关信息保存重要信息。
网络舆情数据存储
舆情数据存储主要包含数据入库、 网页快照与附件存储等舆情数据需要在收集后保存在相应的数据库中并需要根据不同种类的信息类型对数据库进行相应的分类。
网络舆情语义分析
网络舆情语义分析作为整个系统最重要的模块能够挖掘出在信息预处理模块中所获得的信息所运用的技术主要有追踪热点、关联分析与趋势分析等能够有效实现网络舆情监控和热点追踪的功能。保证了整个系统基于用户需求即使进行策略调整使整个系统达到运行的最佳状态。
二、 网络舆情信息的预处理技术手段
模板配置法、 网页的文本结构化信息处理法等方法是主要的网络舆情信息数据的预处理方法但模板配置法需设定每个信息源的网站模板使工作量和维护量过大而网页的文本结构化信息处理法利用页面结构分析与智能节点分析转换的方法在自动抽取数据后有效识
别与清除网页内的无效内容所以一般来说 网络舆情系统采用文本结构化处理方法。
Web网页一般包括关注内容和掺杂内容两部分。关注内容是网页的主要内容在一个网页当中其新闻内容、帖子内容等都属于网页的关注内容而掺杂内容指的是诸如搜索条、广告灯与主体内容无关的信息要素。首先利用HTM L网页标签树实现网页净化有效地降低网页结构的复杂性缩减网页空间从而节省后续分析过程的时间和空间花费。
三、 网络舆情分析系统的语义分析技术
网络舆情分析系统语义分析技术主要对各项新闻热点敏感话题等进行分析是整个网络舆情系统的最关键技术是影响网络舆情信息分析结果是否准确的重要手段。对已完成预处理之后的网络舆情信息进行分析和处理产生相应的分析结果库。而算法库以及算法调度和线程处理是语义分析模块的主要工作
算法库管理
算法库能够有效地为每一处理线程生成一种恰当的算法供算法调度程序进行使用在接收管理员的设置和查询要求之后将所设置的特定信息和各种特殊信息要求存储到算法配置信息库中并进行恰当的管理。
算法调度
算法调度主要负责进程的分配以及多线程的管理工作是整个舆情分析的动力构成。通过各种手段控制线程的运行。而且系统为每个用户的个人进程进行控制并可以为一个用户同时处理多个不同的进程。
线程处理
每一个的线程处理就是一次进行文本分类或文本聚类的过程其中包括了权值向量的生成、特征选择或特征抽取、文本分类或文本聚类。首先需要通过算法库确定其中各个部分恰当的算法每个部分根据其特征采用一种特定的算法。并帮助用户根据自身的特定需要进行处理结果的查询并利用恰当的手段和表现方式将这些分析后的所得结果展现给需要查询的用户。
四、结语
本系统的最大优点便是能够灵活搭配算法和自由处理的架构真正实现分析和追踪热点的效应真正实现了热点追踪与分析。随着网络系统的发展若本系统能够大量投入运用将成为各个级别部门的重要网络舆情监控工具并创造大量的经济效益和社会效益。
参考文献
[1] Jianping Zeng Shiyong Zhang Chengrong Wu Jianfengdictive Model for Internet Public . -11 2007。
[2]王娟.网络舆情监控分析系统构建[J] 长春理工大学学报
2007 4
[3]孟春艳.用于文本分类和文本聚类的特征抽取方法的研究[J] 微计算机信息. 2009(3)
[4]胡学钢董学春谢飞.基于词向量空间模型的中文文本分类方法[J] .合肥工业大学学报(自然科学版) . 2007 10
[5]许鑫章成志李雯静.国内网络舆情研究的回顾与展望[J] .情报理论与实践. 2009 3
“网络舆情分析系统的研究与设计”文档源于网络本人编辑整理。本着保护作者知识产权的原则仅供学习交流请勿商用。如有侵犯作者权益请作者留言或者发站内信息联系本人我将尽快删除。谢谢您的阅读与下载
HostKvm是一家成立于2013年的国外VPS服务商,产品基于KVM架构,数据中心包括日本、新加坡、韩国、美国、俄罗斯、中国香港等多个地区机房,均为国内直连或优化线路,延迟较低,适合建站或者远程办公等。本月,商家旗下俄罗斯、新加坡、美国、香港等节点带宽进行了大幅度升级,俄罗斯机房国内电信/联通直连,CN2线路,150Mbps(原来30Mbps)带宽起,目前俄罗斯和香港高防节点5折骨折码继续优惠中...
buyvm正式对外开卖第四个数据中心“迈阿密”的块存储服务,和前面拉斯维加斯、纽约、卢森堡一样,依旧是每256G硬盘仅需1.25美元/月,最大支持10T硬盘。配合buyvm自己的VPS,1Gbps带宽、不限流量,在vps上挂载块存储之后就可以用来做数据备份、文件下载、刷BT等一系列工作。官方网站:https://buyvm.net支持信用卡、PayPal、支付宝付款,支付宝付款用的是加元汇率,貌似...
官方网站:点击访问火数云活动官网活动方案:CPU内存硬盘带宽流量架构IP机房价格购买地址4核4G50G 高效云盘20Mbps独享不限openstack1个九江287元/月立即抢购4核8G50G 高效云盘20Mbps独享不限openstack1个九江329元/月立即抢购2核2G50G 高效云盘5Mbps独享不限openstack1个大连15.9元/月立即抢购2核4G50G 高效云盘5Mbps独享不限...