数据大数据概念

《行动纲要》的内容可以概括为"三位一体",即围绕全面推动我国大数据发展和应用,加快建设数据强国这一总体目标,确定三大重点任务:一是加快政府数据开放共享,推动资源整合,提升治理能力;二是推动产业创新发展,培育新业态,助力经济转型;三是健全大数据安全保障体系,强化安全支撑,提高管理水平,促进健康发展.
围绕这"三位一体",具体明确了五大目标、七项措施、十大工程.
并且据此细化分解出76项具体任务,确定了每项任务的具体责任部门和进度安排,确保《行动纲要》的落地和实施.
五个目标:一是打造精准治理、多方协作的社会治理新模式;二是建立运行平稳、安全高效的经济运行新机制;三是构建以人为本、惠及全民的民生服务新体系;四是开启大众创业、万众创新的创新驱动新格局;五是培育高端智能、新兴繁荣的产业发展新生态.
七项措施:完善组织实施机制、加快法规制度建设、健全市场发展机制、建立标准规范体系、加大财政金融支持、加快专业人才培养、促进国际交流合作.
十项工程:政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程、工业和新兴产业大数据工程、现代农业大数据工程、万众创新大数据工程、大数据关键技术及产品研发与产业化工程、大数据产业支撑能力提升工程、网络和大数据安全保障工程.
按照国务院的部署,工业和信息化部主要负责推动大数据产业发展,培育新兴业态,助力经济转型,包括推进大数据核心技术攻关、健全产品体系、完善产业链和发展环境、推进工业及新兴产业大数据应用,同时做好信息安全和规范管理等的相关工作.
重点组织实施十大工程中的"大数据关键技术及产品研发与产业化工程""大数据产业支撑能力提升工程""工业和新兴产业大数据工程"三项工程.
(贡晓丽整理)《关于促进大数据发展的行动纲要》主要内容及对产业的部署背景资料图说科技本报讯近日,第九届全国大学生"西门子杯"工业自动化挑战赛在北京交通大学完美收官.
本届大赛历时8个月,共吸引了超过1500支参赛队、共近7000人参赛.
创新是中国建设制造强国的灵魂,而人才培养则是建设制造强国的根本.
自2006年起大赛已成功举办了9届,而今年首次将去年的4项赛项设置增加至5项,分别为逻辑控制、设计开发、工程创新、运动控制以及硬件研发,以便从更广的专业维度激发学生的科技创新激情,培养他们发掘以市场需求为导向的实用创新能力.
据介绍,设计开发赛项包括硬件接线与上机调试两个部分,上机调试有现场公布的温度、湿度等不同要求,参赛队需要在3个小时内完成这个项目的实时与调试,包括半个小时的硬件接线.
此赛项是最传统的项目,也是综合要求最多和难度最大的赛项之一.
过程控制赛项要求选手具备深厚的控制理论功底,能够迅速根据工艺过程分析获得系统对象特性,从而设计有效的控制算法和策略.
同时,针对系统开停车过程的操作要求,设计和实现完整且最优的顺序控制和调度程序.
最后,针对系统中可能存在的扰动和风险,设计及实现紧急停车和安全连锁控制.
(李勤)"西门子杯"工业自动化挑战赛:年轻选手展现创新实力真正的大数据除了量大,另一个特点是变化多,如图片、视频、大段文字这些不能用数字化处理的数据,属于非结构化数据.
只有非结构化的数据才更具有开发价值.
政府的很多数据,例如人口、户籍等,属于结构化数据,离非结构化的大数据概念还有一定距离.
但就目前阶段来看,政府推动大数据产业发展仍有现实意义.
通过与大数据紧密相连的互联网,在市民服务设施众包、提高政府监督职能等方面,百姓能够参与进来.
"政府信息的开放共享,有助于提高政府的公信力.
"韩亦舜说.
政府数据的开放,不但能帮助政府提高自身透明度并提升治理能力和效率,也是促进经济发展和社会创新的重要推力.
然而,在政府数据资源共享开放工程当中,数据的开放程度与开放内容的标准,目前似乎并没有定论.
复旦大学国际关系与公共事务学院副教授郑磊在《中国开放政府数据平台研究:框架、现状与建议》一文中提出,经过样本的数据采集分析,截至2015年5月,各地开放政府数据实践共计公开了1963个数据集.
其中公开数据最多的是武汉(635个),最少的则是贵州(17个).
努力打造大数据产业新高地的贵州,在政府数据开放方面面临着新的挑战.
郑磊指出,中国开放政府数据实践存在的问题主要有目前开放的数据量少、价值低、可机读比例低,开放的多为静态数据,数据授权协议条款含糊,缺乏便捷的数据获取渠道,缺乏高质量的数据应用,缺乏便捷、及时、有效、公开的互动交流等.
"《行动纲要》为信息开放共享指明了出路,但是政府大数据如何应用,还要看接下来的行动和规则制定.
"卢敏说.
针对问题,郑磊建议加强管理架构建设,制定相关政策与工作机会,提高领导支持能力,基于社会需求开放高价值数据、展现数据应用,提升数据开放性与可机读比例,规范数据更新周期,落实数据更新工作,完善数据授权协议,降低数据获取与互动门槛,推动有效公开的沟通.
开放标准待建立揭开政府大数据应用的面纱本报记者贡晓丽彭科峰姻山东瀚霖生物技术有限公司协办2015年9月22日星期二名誉主编:曹务波执行主编:陈欢欢副主编:张楠编辑:贡晓丽校对:王心怡《行动纲要》涉及三个关键词:共享、开放、安全.
卢敏指出,三个关键词背后指向三个问题:"共享"指向为什么要加快政府大数据公开的进程,"开放"指向企业创新的动力源在哪里,"安全"指向如何保护个人隐私和信息安全.
"政府大数据公开的目的是改善民生,企业创新的目的是促进结构转型,信息安全建设的目的是完善法律.
三个关键词分别指向社会、经济、法律等不同领域.
由此看来,大数据产业牵一发而动全身.
"卢敏说.
共享、开放、安全的出发点和落脚点都指向政府大数据的开放共享、研究与应用、示范影响效应等.
我们不禁要问,政府大数据的价值究竟何在就数量而言,BAT(百度、阿里、腾讯)拥有数以亿计的用户量,但这与政府大数据规模相比,可谓小巫见大巫.
卢敏介绍说:"粗略估算,全国政府大数据加起来至少也有数百甚至上千个阿里巴巴的体量.
"至于政府大数据的质量,则可以通过和BAT企业对比来说明.
据介绍,百度拥有庞大的用户搜索记录,每个网民都会留下众多记录,但这些数据较为单一,不进行关联应用就无法显示价值;腾讯的优势在于拥有数以亿计的QQ和微信用户量以及更庞大的社交数据,但这些数据目前仅局限于营销应用;阿里的交易数据似乎价值更高,但也只是局限在电商领域以及外延应用.
"BAT的共同短板在于数据种类的单一化程度较高.
"卢敏说.
政府大数据涉及工商、税务、司法、交通、医疗、教育、通信等等领域,数据的种类繁多,关联性强、统计规格较为统一,便于应用处理.
九次方大数据创始人王叁寿曾表示"政府的数据事关百姓生活的方方面面,数据的利用价值也最高".
数据潜在利用价值高目前,一些发达国家政府在数据开放方面走在了前面,甚至把数据开放当做执政自信的标志,公开一些政府日常消费方面的支出供市民监督.
我国政府数据利用方面特别是数据共享方面确实存在一些误区.
一方面说到开放就好像完全没有隐私,另一方面安全问题又成为了数据开放的最大障碍.
韩亦舜认为,政府数据开放要在实践中摸索前进.
先把政府部门内部及部门之间数据共享的工作做起来.
对社会的数据开放共享,先从方便百姓生活又不是很敏感的数据开始.
特别是涉及公共安全、公共利益的数据,提供公共服务的机构或企业有义务在一定前提条件下开放,"这样一些可以预警、预防的群体性事件就能够避免".
韩亦舜指出,按照流行的大数据的几个"V"(大量、高速、多样、价值)或者多源异构的定义来衡量,政府的部分数据,还属于结构化数据,离大数据概念还有差异.
但没有必要拘泥于大数据的定义,只要政府充分运用数据的挖掘利用,提高政府治理能力,提高科学决策能力,受益的将是全社会.
在政府开放数据方面,韩亦舜建议,各级政府都以数据应用为导向,需要什么数据就共享什么数据.
虽然,与大数据的开发共享还有距离,但确实是数据应用的可行路径.
韩亦舜说,相信越多的人从数据开放中获益,就会有更多的人愿意开放数据.
数据利用如何破冰"大数据将从一个时髦的概念走进我们生活中的方方面面.
帮助我们更好地认识世界,认识自己,构建全新的社会关系.
"清华大学数据科学研究院执行副院长韩亦舜说.
"《关于促进大数据发展的行动纲要》(以下简称《行动纲要》)标志着大数据在我国的发展与应用已经上升到国家战略层面.
"赛迪顾问分析师卢敏说,"《行动纲要》明确指出推动政府大数据开放、共享和安全的重要性.
而要使《行动纲要》中的内容尽快成为促进大数据发展和推进大数据应用的实际行动,还有很多问题要解决.
"大数据伴遥感卫星上天"落地"姻周自宽环保产业大家谈近日,中国资源卫星应用中心公布了9月3日阅兵当日,由高分二号卫星、资源三号卫星及实践九号卫星捕捉到的阅兵现场精彩瞬间.
图片可清晰辨别天安门前的车辆与方队.
资源三号卫星是中国第一颗民用高精度立体测绘卫星,2012年1月在太原卫星发射中心发射升空,迄今为止其精度在国际同类卫星中仍然位居前列.
如果用资源三号卫星拍摄2.
1米分辨率的阅兵方队图像,则各个方阵之间的距离及车辆的多少,都会清晰可见.
遥感卫星的作用可不止于拍摄重大活动:地面大范围监测,信息挖掘,预防洪水、森林火灾的发生等,才是遥感卫星的重要应用.
高大上的卫星中国资源卫星应用中心(以下简称中心)1991年成立,承担我国对地观测卫星数据处理、存档、分发和服务设施建设与运行管理,是国家三大卫星数据中心之一.
经过多年发展,中心在技术上实现了几个转变:卫星系统从过去只有单一类型的卫星变成现在朝着陆地观测和高分系列卫星发展;数据处理系统从过去一颗卫星匹配一个地面处理系统变成现在朝着多星综合并行处理系统发展;业务范围从过去只专注于中国国内需求,转向国内、国际均衡发展.
过去,国内无法制造地面处理系统,只能靠引进.
在多年学习借鉴、消化吸收的基础上,中国现在已建设具有完全自主知识产权的卫星地面应用系统.
支撑数据中心发展的是多层次用户服务体系的形成,覆盖所有用户群体,形成海量的对地观测数据集,另外还有自主知识产权的技术系统和核心研发能力.
迄今为止,中心共掌握13颗卫星的对地监测数据.
其中,之前发射的3颗卫星过了一期设计寿命,已经退役,但在它们工作的十年中,拍摄了大量的存档数据.
这些数据记录了中国国内部分地区的建设情况,包括城市的面貌变迁.
影像数据是对历史真实、客观的记录,这些数据随着时间推移会越来越珍贵.
现在中心还在工作的卫星有10颗,包括3颗环境减灾型系列卫星,两颗于2008年发射,一颗于2011年发射.
这3颗卫星用两天时间就能把全中国"看"一遍,对大范围的气象灾害和洪水灾害预警时效性非常高.
实践九号A/B卫星是中国民用新技术试验卫星系列的首发星.
分辨率为2.
5米.
实践九号卫星上已经进行了20多项航天技术实验,都非常成功.
实验完成后,卫星还可正常运行.
高分一号卫星是国家高分系列的第一颗卫星,全色影像分辨率为2米,多光谱影像分辨率为8米,同时还搭载了一个16米高分辨率多光谱宽幅相机.
(编者按:高分辨率多光谱宽幅相机技术是一项军民两用技术,可以提供详细的地形数据和地理情报.
)它可覆盖拍摄从银川到北京的整个区域,即覆盖全中国1/2左右的区域.
高分二号卫星于2014年8月升空,是中国第一个亚米级分辨率的高分光学卫星.
中巴地球资源卫星04星(CBERS04)在2014年12月上天,是中国和巴西合作的第六颗系列卫星,其收集的地球资源数据已经得到广泛应用.
接下来,中心将陆续发射高分三号、四号、五号卫星.
高分四号是中国首颗与地球同步轨道的凝视卫星.
它每10分钟拍照一次,获得的图像可做成动画,将在监测洪涝灾害、森林火灾等方面发挥重要作用.
高分五号将是中国的第一个民用高光谱卫星.
高分六号则将替换高分一号,技术会更全面和稳定.
高分七号预计在2018年发射,该卫星将是我国首颗亚米级别的光学立体测绘卫星.
卫星数据的大用途这么多颗卫星同时运作,地面的数据处理量将十分巨大,而中心卫星数据处理的多种技术需要提升.
现在,中心已经突破了一些关键技术,包括地面系统的逆向定资、定轨,高精度定位,海量存储和数据检索.
目前,卫星的在线数据存储达到了10拍,每天也会产生超过10太的数据需要存储.
所有的数据都是珍贵的历史资料,不能删除,因此,随着数据量的增加,硬件采购成本也逐渐增加,1太容量的硬件需要几千元到一万元,每天购买硬件的费用将近十万元.
而中心的数据计算能力相当于一个小型的省级云计算中心的处理能力.
现在中心最核心的技术,是高效地让卫星最大化地获取有用数据;其次是数据分发,面向国际和国内提供数据.
中心的用户分布全国,有将近3000个法人单位,1万多个注册用户.
如何将卫星获取的高质量数据在短时间内推送出去首先,可通过专线、点对点光纤等,在卫星接收完数据的两小时内推送给部委级用户.
另外,利用电子商务,给互联网单位推送一些数据.
现在,中心存档数据的量已经很多.
今年7月,中心分发的数据量已超过1000万件,相当于美国在过去几十年的数据推送之和.
数据拿到之后有什么用途在汶川地震时,通过遥感卫星收集的数据,人们可以清晰地看到滑坡、堰塞湖的情况;巴基斯坦发生地震,可紧急调配卫星拍摄发生地震时的场景,通过检索之前的背景数据,了解地震发生前的地貌,两者对比后观察受灾情况.
在马航失联时,中国调用了一些卫星进行监测,虽然最后没有通过中国卫星找到马航的踪迹,但是体现了中国独立运用卫星数据进行调查的能力.
卫星也为水利部、国家林业局、防火办等提供数据,调查森林火灾、湿地情况等.
国际上一旦发生重大灾害,有卫星遥感技术的国家都会贡献自己的力量.
中国是空间与重大灾害国际宪章创始国之一,每8个星期会作为轮值负责人来值一次班,值班的办公室坐落在中心.
从2008年到现在,中国遥感卫星已多次开展全球灾害监测服务,包括日本海啸、地震等.
另外,中国还与南非、泰国、东盟多国有合作,希望让中国的卫星接收站在海外落地,帮助其他国家进行灾害监测或开展人道主义救援工作.
(作者系中国资源卫星应用中心研究员,本报见习记者李勤根据其在虚拟现实、增强现实、可视计算技术应用国际研讨会上的发言摘编、整理.
)淤工程创新原型机于设计开发赛项的上机调试项目盂学生进行硬件接线环节《关于促进大数据发展的行动纲要》近日发布,各方共商———