hadoop大数据平台大数据与Hadoop之间的关系

大数据专业平台高吗？

我学了十年，越学越觉得需要学的东西远远不够 正常学3年可以入手正常的hadoop开发 5年以上大数据架构 10以上必须转技术管理 平台不高，java基础就可以，但做5年以上才能小有成就，才能说你懂大数据

大数据开发具体是做什么的？求举例说明。

大数据开发其实分两种： 第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。

第二类工作的话通常才大公司里才有，一般他们都会搞自己的系统或者再对开源的做些二次开发。

这种工作的话对理论和实践要求的都更深一些，也更有技术含量。

比如这次疫情中大数据平台对医疗物资的调度、传染模型的分析、防控等起了很大的作用。

大数据开发工程师是大数据领域一个比较热门的岗位，有大量的传统应用需要进行大数据改造，因此有较多的人才需求。

这个岗位需要掌握的知识结构包括大数据平台体系结构，比如目前常见的Hadoop、Spark平台等。

大数据 big data项目有什么好方案或平台推荐吗？

开源大数据生态圈 1、Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。

Hadoop MapReduce不适合实时计算：任务分配Server不会将信息Push到计算Node，而是让计算Node通过心跳去Pull任务。

基于框架的通用性，MapReduce代码也会在HDFS中传送，在各计算Node展开，再通过启动新JVM进程装载并运行。

类似的JVM进程启停有5、6次之多。

Reduce Task只能在所有MapTask完成之后才能启动。

一体机数据库/数据仓库 IBM PureData(Netezza), Oracle Exadata, SAP Hana等等。

数据仓库 Teradata AsterData, EMC GreenPlum, HP Vertica 等等。

数据集市 QlikView、 Tableau 、国内永洪科技Yonghong Data Mart 等等。

如何搭建大数据分析平台？

本人为大数据技术员，可以分享一些心得体验给题主： 其实题主需要搞清楚以下几个问题，搞清楚了，其实问题的答案也就有了： 1、是从个人学习成长的角度想搭建平台自学？还是现在的公司需要大数据技术进行分析？——如果是从个人学习成长的角度，建议直接按照Hadoop或者Spark的官网教程安装即可，建议看官网（英文），在大数据技术领域，英语的掌握是非常重要的，因为涉及到组件选型、日后的安装、部署、运维，所有的任务运行信息、报错信息都是英文的，包括遇到问题的解答，所以还是非常重要的。

如果是公司需要进行大数据分析，那么还要研究以下几个问题：为什么需要搭建大数据分析平台？要解决什么业务问题？需要什么样的分析？数据量有多少？是否有实时分析的需求？是否有BI报表的需求？——这里举一个典型的场景：公司之前采用Oracle或MySQL搭建的业务数据库，而且有简单的数据分析，或者可能采购了BI系统，就是直接用业务系统数据库进行支持的，现在随着数据量越来越大，那么就需要采用大数据技术进行扩容。

搞清楚需求之后，按照以下的步骤进行： 1、整体方案设计；整体方案设计时需要考虑的因素：数据量有多少：几百GB？几十TB？数据存储在哪里：存储在MySQL中？Oracle中？或其他数据库中？数据如何从现在的存储系统进入到大数据平台中？如何将结果数据写出到其他存储系统中？分析主题是什么：只有几个简单指标？还是说有很多统计指标，需要专门的人员去梳理，分组，并进行产品设计；是否需要搭建整体数仓？是否需要BI报表：业务人员有无操作BI的能力，或团队组成比较简单，不需要前后端人员投入，使用BI比较方便；是否需要实时计算？ 2、组件选型；架构设计完成后就需要组件选型了，这时候最好是比较资深的架构师参与设计，选型包括：离线计算引擎：Hadoop、Spark、Tez……实时计算引擎：Storm、Flink、Samza、Spark Streaming……BI软件：Tableau、QlikView、帆软…… 3、安装部署；选型完成后，就可以进行安装部署了，这部分其实是最简单的，直接按照每个组件的部署要求安装即可。

4、另一种选择：采用商用软件如果是企业需要搭建大数据平台，那么还有一种选择是直接采用商用的数据平台。

市面上有很多成熟的商用大数据平台，Cloudera、星环、华为、亚信等等，都有对应的产品线，业内数据大咖袋鼠云就有一款非常优秀的大数据平台产品：数栈。

主要有以下几个特点： 1.一站式。

一站式数据开发产品体系，满足企业建设数据中台过程中的多样复杂需求。

2.兼容性强。

支持对接多种计算引擎，使更多企业“半路上车”。

3.开箱即用。

基于Web的图形化操作界面，开箱即用，快速上手。

4.性价比高。

满足中小企业数据中台建设需求，降低企业投入成本。

大数据与Hadoop之间的关系

数据在近些年来越来越火热，人们在提到大数据遇到了很多相关概念上的问题，比如云计算、 Hadoop等等。

那么，大数据是什么、Hadoop是什么，大数据和Hadoop有什么关系呢？ 大数据目前定义：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具在合理时间内获取、管理、处理、并整理为帮助企业经营决策。

大数据目前分为四大块：大数据技术、大数据工程、大数据科学和大数据应用。

其中云计算是属于大数据技术的范畴，是一种通过以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。

那么这种计算模式如何实现呢，Hadoop的来临解决了这个问题，Hadoop是Apache（阿帕切）的一个开源项目，它是一个对大量数据进行分布式处理的软件架构，在这个架构下组织的成员HDFS（Hadoop分布式文件系统），MapReduce、 Hbase 、Zookeeper（一个针对大型分布式系统的可靠协调系统），hive（基于Hadoop的一个数据仓库工具）等。

1.云计算属于大数据中的大数据技术范畴。

2.云计算包含大数据。

3.云和大数据是两个领域。

云计算是指利用由大量计算节点构成的可动态调整的虚拟化计算资源，通过并行化和分布式计算技术，实现业务质量的可控的大数据处理的计算技术。

而作为云计算技术中的佼佼者，Hadoop以其低成本和高效率的特性赢得了市场的认可。

Hadoop项目的目标是建立一个可扩展开源软件框架，能够对大数据进行可靠的分布式处理。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。

HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

HDFS是一个分布式文件系统，具有低成本、高可靠性性、高吞吐量的特点。

MapReduce是一个变成模型和软件框架。

简单理解，Hadoop是一个开源的大数据分析软件，或者说编程模式。

它是通过分布式的方式处理大数据的，因为开元的原因现在很多的企业或多或少的在运用hadoop的技术来解决一些大数据的问题，在数据仓库方面hadoop是非常强大的。

但在数据集市以及实时的分析展现层面，hadoop也有着明显的不足，现在一个比较好的解决方案是架设hadoop的数据仓库而数据集市以及实时分析展现层面使用永洪科技的大数据产品，能够很好地解决hadoop的分时间长以及其他的问题。

Hadoop大数据技术案例 让Hadoop和其他大数据技术如此引人注目的部分原因是，他们让企业找到问题的答案，而在此之前他们甚至不知道问题是什么。

这可能会产生引出新产品的想法，或者帮助确定改善运营效率的方法。

不过，也有一些已经明确的大数据用例，无论是互联网巨头如谷歌，Facebook和LinkedIn还是更多的传统企业。

它们包括： 情感分析： Hadoop与先进的文本分析工具结合，分析社会化媒体和社交网络发布的非结构化的文本，包括Tweets和Facebook，以确定用户对特定公司，品牌或产品的情绪。

分析既可以专注于宏观层面的情绪，也可以细分到个人用户的情绪。

风险建模：财务公司、银行等公司使用Hadoop和下一代数据仓库分析大量交易数据，以确定金融资产的风险，模拟市场行为为潜在的“假设”方案做准备，并根据风险为潜在客户打分。

欺诈检测：金融公司、零售商等使用大数据技术将客户行为与历史交易数据结合来检测欺诈行为。

例如，信用卡公司使用大数据技术识别可能的被盗卡的交易行为。

客户流失分析：企业使用Hadoop和大数据技术分析客户行为数据并确定分析模型，该模型指出哪些客户最有可能流向存在竞争关系的供应商或服务商。

企业就能采取最有效的措施挽留欲流失客户。

用户体验分析：面向消费者的企业使用Hadoop和其他大数据技术将之前单一客户互动渠道（如呼叫中心，网上聊天，微博等）数据整合在一起，以获得对客户体验的完整视图。

这使企业能够了解客户交互渠道之间的相互影响，从而优化整个客户生命周期的用户体验。

当然，上述这些都只是大数据用例的举例。

事实上，在所有企业中大数据最引人注目的用例可能尚未被发现。

这就是大数据的希望。