数据论坛采集器

2017年第26卷第4期http://www.
c-s-a.
org.
cn计算机系统应用SystemConstruction系统建设87远程智能化环境数据采集系统①曾金,帖军,韩峥嵘(中南民族大学计算机科学学院,武汉430000)摘要:随着经济的快速发展,工农业生产逐渐从传统的人工技术走向智能化生产.
传统的大规模工农业环境的数据采集技术已经不适应快速发展的工农业生产,新型的智能化远程环境数据采集技术应运而生.
系统采用Arduino开源单片机,利用其强大的适应环境能力、低成本等特点,实现数据从精准采集到智能化远程传送.
数据采集之后单片机通过端口实时获取数据,并通过程序进行处理,处理好的数据通过建立好的网络实现数据的传送.
数据经过网络实现数据完整的存放进远程数据库,同时客户端直接从数据库获取数据,管理人员通过客户端查询数据与分析数据,挖掘出对模型重要的数据.
关键词:Arduino;智能化;远程;传感器RemoteIntelligentEnvironmentalDataAcquisitionSystemZENGJin,TIEJun,HANZheng-Rong(CollegeofComputerScience,South-CentralUniversityforNationalities,Wuhan430000,China)Abstract:Withtherapiddevelopmentofeconomic,industrialandagriculturalproductionhavegraduallychangedfromthetechnologyoftraditionalmanualtechniquestotheproductionoflarge-scaleindustrial,andthetraditionaldataacquisitiontechnologyofagriculturalenvironmenthasnotbeenadaptedtotherapiddevelopmentofindustrialandagriculturalproduction.
Hence,thenewintelligentremoteenvironmentaldatacollectiontechnologyemerges.
Thesystemusestheopen-sourceArduinomicrocontroller,withitscharacterssuchaspowerfulabilitytoadapttotheenvironment,lowcost,tomakedataaccuratelycollectedandtransformed.
Themicrocontrollergetsthereal-timedatathroughportsafterdataacquisition,andprocessesitbytheprocedures,afterthatthedatawillbetransformedthroughtheestablishednetworks,whichcouldachievedatastorageintoaremotedatabase.
Andtheclientcangetdatadirectlyfromthedatabase,andadministratorscanqueryandanalysedatathroughtheclient,miningtheimportantdataforthemodel.
Keywords:Arduino;intelligent;remote;sensor环境数据采集技术在工农业中应用十分广泛.
传统的数据采集系统主要依靠人力资源去实地采集信息,同时少量通过网络进行简单处理.
数据在传输过程中的安全性无法保证,系统不易维护,数据丢包率高,数据不准确,功耗大,成本高等缺点[1].
远程智能化环境数据采集系统完美的解决了传统采集技术的这些缺点.
本文从系统的功耗、性能,成本入手,以实现整个系统的低功耗,高性能,低成本为目.
实现整个环境数据采集系统自动化和智能化,使物联网技术更够更好的服务工农业生产[2].
1系统整体设计架构系统采用开源硬件Arduino系列单片机为数据采集以及处理的核心处理器,采集的数据主要是风速、温湿度、雨量计量器、温度、PM2.
5、CO2等.
硬件器材选择采用风速、温湿度、CO2、光照强度、pH、土壤温度等传感器,系统在每个采集点设置3个监测点,实时获取每个检测点的环境数据,并通过①收稿时间:2016-07-07;收到修改稿时间:2016-08-29[doi:10.
15888/j.
cnki.
csa.
005695]计算机系统应用http://www.
c-s-a.
org.
cn2017年第26卷第4期88系统建设SystemConstruction网络传送至远程服务器,远程服务器中运行的中间件接收数据后并将数据插入数据库,用户通过访问C#客户端或者web界面可以实时查看相关环境数据变化.
系统在实现过程中采用模块化设计的思想以便于系统进行二次开发和升级.
在设计上是综合考虑各方面因素,以追求普遍性,以便于系统可以在各种不同环境条件下正常运行[3].
图1系统整体结构2系统硬件结构设计2.
1传感器硬件简介二氧化碳浓度传感器:用金属氧化物半导体材料,在一定条件下半导体材料感测到环境变化,芯片数据产生相应变化.
DHT22传感器:数字温湿度传感器是一款含有已校准数字信号输出的温湿度复合传感器.
光照传感器:采用先进光电转换模块,将光照强度值转化为电压值,再经过相应的电路进行数值转换.
APRS风速风向传感器:Arduino风速风向传感器体积小,测量精度高,稳定性好,适合数据的远程传送.
PH值传感器:pH值传感器是高智能化在线连续监测仪.
土壤温度传感器:土壤温度传感器采用LM393芯片作为比较器,表面采用镀镍处理,有加宽的感应面积,可以提高导电性能,防止接触土壤容易生锈的问题,延长寿命,以减少系统维护的成本.
2.
2系统硬件架构设计本系统采用多模块设计方法构成系统的整体结构布局.
每块单片机控制若干个传感器,每个Arduino单片机作为分布式中的一个结点,收集传感器发送过来的数据,多个单片机在各个监测站点建立数据采集子系统.
通过传感器获取采集的环境数据信息,经过开源单片机Arduino处理之后通过网络实时存储到阿里云服务器上的MySQL数据库中.
客户端可以实时查阅最近一周的数据,并且用最优化的方法显示其变化的趋势[4].
系统在整个设计中充分利用物联网技术实现系统的智能化的监测环境数据变化.
图2硬件结构原理图3系统软件设计3.
1Arduino-Ethernet采集数据程序设计整个系统涵盖3个监测站点,每个监测站点对应采集风速,温湿度,CO2浓度,光照强度,土壤pH值,土壤温度.
系统实际采集数据根据不同环境可以实现扩展性变化,不同的监测点通过设置的串行端口5555进行数据的传送.
数据采集的信息量比较大,为了防止传送的带宽不够,在单片机处理数据中采用延时的办法实现数据的串行输送[5].
即不同的监测站点分配相同的延时,然后在不同的时间点启动设备,这样就可以解决带宽不够容易造成数据丢失的问题了.
3.
2系统网络布局设计系统网络拓扑结构如下图所示,Arduino单片机读取各个传感器的电平信号,并将它们进行处理转化为测量值.
各个单片机通过TCP/IP协议将数据打包发送给路由器或者交换机,再由它们继续转发,最终将数据发送到阿里云服务器.
整个网络结构采用多层次结构,实现每级不同结构分层,最终系统实现层次化运行,数据链可实现完整传输[7].
图3系统网络拓扑原理图2017年第26卷第4期http://www.
c-s-a.
org.
cn计算机系统应用SystemConstruction系统建设893.
3中间件程序及数据库设计中间件主要有两个功能:一个功能是接收Arduino发送过来的环境数据;另一方面将Arduino发送过来的数据插入MySQL数据库.
数据传送方式:数据传送采用python的flask框架结构连接传送端口,数据采用http协议请求命令作为客户端发送数据,客户端chuansongClient.
print("GET/chuansongtemperature="temperature"&humdity="humdity"&windspeed="windspeed"&co2="co2"&light="light"&pm2.
5="pm2.
5"&HTTP/1.
0LocalHostIP"),传感器采集的数据在单片机上通过http请求的方式传送到中间件,再由中间件将数据插入到MySQL数据库进行存储.
客户端方面:利用C#的程序设计实现客户端与数据库连接,通过客户端可以获取数据库中的数据.
数据库设计:数据库设计采用的MySQL数据库,MySQL数据库是开源免费的数据库,支持大型数据库的操作.
本系统的设计对数据的存储需求比较大,考虑到经济、时效等因素首选此数据库作为数据存储的工具,具有较好的使用价值.
3.
4客户端程序设计客户端设计程序根据实际需要设置所需要的站点的数据同时展示,其中各部分实地监测站点主要是获取数据,同时可以人为地对数据进行简单的处理.
图4客户端登录界面客户端的设计采用登录模式,同时保证了信息的安全性与完整性的需要,在客户端内可以查询不同采集区域的环境数据,同时采集的数据可以作为专业的标准数据提供具有实际意义的证明,最后数据实现在客户端界面以图表的形式展现在界面上,便于管理人员通过分析数据的实际走向.
图5客户端数据查询界面3.
5实验数据3.
5.
1数据流分析整个系统设计采用可扩展性增加模块的方式,本系统采用3个监测点,3个监测点的数据实时的通过网络传送到数据库中,采用时间间隔的办法实现数据的安全传送,实验设置合理的时间间隔,避免了数据的冗余与传送信息的拥挤[8].
数据流的丢包率是经过一定时间直接查看数据库的数据存储数量与硬件串口实际发送数据量的比例,经实际测试与计算,系统实际丢包率几乎为零,误差在系统允许范围内[9].
图6数据传送测试图3.
5.
2实验结果分析数据存储在数据库中,客户端直接从数据库中调用数据,同时数据可以以图表的形式展示在界面上,便于管理人员通过数据的实时走向趋势进行数据分析,通过对大量数据信息进行合理的数据挖掘,从而找到有效的数据信息,实验数据部分图表结果如图7至图11所示.
图7光照强度变化图计算机系统应用http://www.
c-s-a.
org.
cn2017年第26卷第4期90系统建设SystemConstruction图8温度变化图图9二氧化碳浓度变化图图10PM2.
5浓度变化图图11水体pH图系统设置的站点在整个系统运行时不断采集数据,数据通过网络实时传送到数据库,客户端从数据库中获取数据,并通过一定的表格形式显示出来,为了更好的研究数据的趋势与效果,采用图表形式设计监测界面,实现可视化研究,方便数据的挖掘与深入研究.
4结论远程智能化数据采集系统的设计是针对工农业生产的环境区域进行大规模的数据采集.
不同的采集区域需求不同,这就需要系统可以实现较好的扩展性.
系统在设计之初就考虑到,通过在数据库和数据传送过程做了一系列处理,实现系统可扩展性的增加采集的设备.
同时选择的传感器均适应于不同的环境,整个系统的设计改变了传统的数据采集技术,利用开源Arduino采集数据,实现了智能化采集数据.
同时设计的监测站点实现了对整个采集区域的实时监控与检测,避免了各种因素的影响造成数据的误差性,数据的采集最终通过数据挖掘技术提取最有效的可行数据.
并且巧妙的采用并行处理机制,实现程序高速的运行,避免了监测系统的杂乱不规则的运行[10].
整个系统在设计与运行全过程实现了智能化、可控化、远程化、经济化的要求,技术在不断发展,系统存在一定的范围内的误差,智能化技术的发展前景很大,在不久的将来,随着智能化技术的高速发展,整个监控系统将更加完善.
参考文献1陈学军.
变电站运行环境监测系统[硕士学位论文].
长春:吉林大学,2015.
2熊飞,缪晨,吴文,刘天宇.
基于时间交错的数据采集FPGA实现.
2015年第十届全国毫米波、亚毫米波学术会议论文集(二),2015.
3于景阳.
长春电力公司用电信息采集系统设计[硕士学位论文].
长春:吉林大学,2015.
4吴凌斌.
基于WSN的扎龙湿地水环境监测系统设计[硕士学位论文].
齐齐哈尔:齐齐哈尔大学,2015.
5郭广明.
浅谈云计算技术在物联网智能家居系统中的应用.
电子测试,2016,(9):99–100.
6刘颖.
物联网在农业中的应用及前景展望.
信息与电脑(理论版),2016,(6):26–27,69.
7张恩迪,李翔.
数据采集系统综合误差研究及软硬件设计.
2015全国嵌入式仪表及系统技术会议程序册,2015.
8吴涛,王靖宇.
基于单片机的医学信号数据采集处理系统的设计.
中华医学会医学工程学分会第十五次全国学术年会论文汇编,2015.
9郑克铭,何斌.
基于ICV的某大型钢厂的数据采集系统.
中国计量协会冶金分会2015年会论文集,2015.
10赵猛,裴红,王荧光.
煤层气工业中数据采集网络技术及其发展.
2012年互联网技术与应用国际学术会议论文集.
2012.