hive如何通俗地理解Hive的工作原理

如何查看hive

1 进入HIVE之前要把HADOOP给启动起来，因为HIVE是基于HADOOP的。

所有的MR计算都是在HADOOP上面进行的。

2 在命令行中输入：hive。

这个时候就可以顺利的进入HIVE了。

当然了，如果你想直接执行HQL脚本文件可以这样：hive -f xxxxx.hql。

hive和hbase有什么关系和区别

共同点： 1.hbase与hive都是架构在hadoop之上的。

都是用hadoop作为底层存储 区别： 2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。

3.想象你在操作RMDB数据库，如果是全表扫描，就用Hive+Hadoop,如果是索引访问，就用HBase+Hadoop 。

4.Hive query就是MapReduce jobs可以从5分钟到数小时不止，HBase是非常高效的，肯定比Hive高效的多。

5.Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。

6.hive借用hadoop的MapReduce来完成一些hive中的命令的执行 7.hbase是物理表，不是逻辑表，提供一个超大的内存hash表，搜索引擎通过它来存储索引，方便查询操作。

8.hbase是列存储。

9.hdfs作为底层存储，hdfs是存放文件的系统，而Hbase负责组织文件。

10.hive需要用到hdfs存储文件，需要用到MapReduce计算框架。

hadoop和hive之间有什么关系？

hive是hadoop的延申。

hadoop是一个分布式的软件处理框架，hive是一个提供了查询功能的数据仓库，而hadoop底层的hdfs为hive提供了数据存储。

hive将用户提交的SQL解析成mapreduce任务供hadoop直接运行，结合两者的优势，进行数据决策。

一个擅长大数据并行计算，一个支持SQL数据查询，方便是显而易见的。

但hive只要还是读操作 有了Hive之后，人们发现SQL对比Java有巨e69da5e6ba903231313335323631343130323136353331333433616164大的优势。

一个是它太容易写了。

刚才词频的东西，用SQL描述就只有一两MapReduce写起来大约要几十上百行。

扩展资料： 它主要有以下几个优点 ： 1、高可靠性。

Hadoop按位存储和处理数据的能力值得人们信赖 。

2、高扩展性。

Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中 。

3、高效性。

Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

4、高容错性。

Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

低成本。

与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低 。

Hadoop带有用Java语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。

Hadoop 上的应用程序也可以使用其他语言编写，比如 C++ 。

hadoop中的pig与hive的区别？各自有什么优势？

Pig是一种编程语言，它简化了Hadoop常见的工作任务。

Pig可加载数据、表达转换数据以及存储最终结果。

Pig内置的操作使得半结构化数据变得有意义（如日志文件）。

同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。

Hive在Hadoop中扮演数据仓库的角色。

Hive添加数据的结构在HDFS（hive superimposes structure on data in HDFS），并允许使用类似于SQL语法进行数据查询。

与Pig一样，Hive的核心功能是可扩展的。

Hive更适合于数据仓库的任务，Hive主要用于静态的结构以及需要经常分析的工作。

Hive与SQL相似促使其成为Hadoop与其他BI工具结合的理想交集。

Pig赋予开发人员在大数据集领域更多的灵活性，并允许开发简洁的脚本用于转换数据流以便嵌入到较大的应用程序。

Pig相比Hive相对轻量，它主要的优势是相比于直接使用Hadoop Java APIs可大幅削减代码量。

本质上说说Pig与Hive。

经过Pig Latin的转换后变成了一道MapReduce的作业，通过MapReduce多个线程，进程或者独立系统并行执行处理的结果集进行分类和归纳。

Map() 和 Reduce() 两个函数会并行运行，即使不是在同一的系统的同一时刻也在同时运行一套任务，当所有的处理都完成之后，结果将被排序，格式化，并且保存到一个文件。

Pig利用MapReduce将计算分成两个阶段，第一个阶段分解成为小块并且分布到每一个存储数据的节点上进行执行，对计算的压力进行分散，第二个阶段聚合第一个阶段执行的这些结果，这样可以达到非常高的吞吐量，通过不多的代码和工作量就能够驱动上千台机器并行计算，充分的利用计算机的资源，打消运行中的瓶颈。

也就是说，Pig最大的作用就是对mapreduce算法(框架)实现了一套shell脚本 ，类似我们通常熟悉的SQL语句，在Pig中称之为Pig Latin，在这套脚本中我们可以对加载出来的数据进行排序、过滤、求和、分组(group by)、关联(Joining)，Pig也可以由用户自定义一些函数对数据集进行操作，也就是传说中的UDF(user-defined functions)。

结论性的阅读感觉是：Pig用来写一些即时脚本吧，比如领导问你要份数据，半个小时要出来之类；Hive嘛，就是一个产品经理过来，问这个啥回事?于是你Hive一下，一个简洁的类SQL语句...Done！

hive 什么意思?

1.名词（可数），（人造的）蜂房，注意bee hive虽然可以表示天然的蜜蜂巢，但是使用b会减少歧义的几率。

同时b还是google的android系统的一个版本代号。

2.a hive of activity/industry. 表示喧闹繁忙的场所/工业区 3.动词，释义一的衍生用法。

把蜜蜂赶入蜂房，或蜜蜂进入蜂房。

分别作为及物动词和不及物动词使用。

4.短语动词 hive（sth） off to (sth)，表示把机构的一部分分离，使其独立。

另建议此类问题先查工具书。

望采纳，欢迎追问

如何通俗地理解Hive的工作原理

Hive是建立在 Hadoop 上的数据仓库基础构架。

它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。

同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。

流程大致步骤为： 1. 用户提交查询等任务给Driver。

2. 编译器获得该用户的任务Plan。

3. 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。

4. 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象语法7a686964616fe58685e5aeb931333363376562树，然后将抽象语法树转换成查询块，将查询块转化为逻辑的查询计划，重写逻辑查询计划，将逻辑计划转化为物理的计划（MapReduce）, 最后选择最佳的策略。

5. 将最终的计划提交给Driver。

6. Driver将计划Plan转交给ExecutionEngine去执行，获取元数据信息，提交给JobTracker或者SourceManager执行该任务，任务会直接读取HDFS中文件进行相应的操作。

7. 获取执行的结果。

8. 取得并返回执行结果。