hivehive的适用场景

hive  时间:2021-08-10  阅读:()

Hive是什么?

此外,hive也支持熟悉map-reduce的开发者使用map-reduce程序对数据做更加复杂的分析。

hive可以很好的结合thrift和控制分隔符,也支持用户自定义分隔符。

hive基于hadoop,hadoop是批处理系统,不能保存低延迟,因此,hive的查询也不能保证低延迟。

hive的工作模式是:提交一个任务,等到任务结束时被通知,而不是实时查询。

相对应的是,类似于Oracle这样的系统当运行于小数据集的时候,响应非常快,可当处理的数据集非常大的时候,可能需要数小时。

需要说明的是,hive即使在很小的数据集上运行,也可能需要数分钟才能完成。

低延迟不是hive追求的首要目标。

Hadoop,Hive,Spark 之间是什么关系

hadoop包含以下组件:hdfs,mapreduce,yarn。

hive是数据仓库:用于管理结构化数据,数据存于hdfs上。

spark是一个分布式计算框架:区别于hadoop的另一种mapreduce的计算框架。

基于RDD的分布式内存计算引擎。

hive的适用场景

Hive 构建在基于静态批处理的Hadoop 之上,Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。

因此,Hive 并不能够在大规模数据集上实现低延迟快速的查询,例如,Hive 在几百MB 的数据集上执行查询一般有分钟级的时间延迟。

因此, Hive 并不适合那些需要低延迟的应用,例如,联机事务处理(OLTP)。

Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型,Hive 将用户的HiveQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上,Hadoop 监控作业执行过程,然后返回作业执行结果给用户。

Hive 并非为联机事务处理而设计,Hive 并不提供实时的查询和基于行级的数据更新操作。

Hive 的最佳使用场合是大数据集的批处理作业,例如,网络日志分析。

趣米云(18元/月)香港三网CN2云服器低至;1核1G/30G系统盘+20G数据盘/10M带宽

趣米云怎么样?趣米云是创建于2021年的国人IDC商家,虽然刚刚成立,但站长早期为3家IDC提供技术服务,已从业2年之久,目前主要从事出售香港vps、香港独立服务器、香港站群服务器等,目前在售VPS线路有三网CN2、CN2 GIA,该公司旗下产品均采用KVM虚拟化架构。由于内存资源大部分已售,而IP大量闲置,因此我们本月新增1c1g优惠套餐。点击进入:趣米云官方网站地址香港三网CN2云服务器机型活...

CloudCone月付$48,MC机房可小时付费

CloudCone商家在前面的文章中也有多次介绍,他们家的VPS主机还是蛮有特点的,和我们熟悉的DO、Linode、VuLTR商家很相似可以采用小时时间计费,如果我们不满意且不需要可以删除机器,这样就不扣费,如果希望用的时候再开通。唯独比较吐槽的就是他们家的产品太过于单一,一来是只有云服务器,而且是机房就唯一的MC机房。CloudCone 这次四周年促销活动期间,商家有新增独立服务器业务。同样的C...

牦牛云(3.5USD/月 )阿里云国际版云服务器 1核1G40G

收到好多消息,让我聊一下阿里云国际版本,作为一个阿里云死忠粉,之前用的服务器都是阿里云国内版的VPS主机,对于现在火热的阿里云国际版,这段时间了解了下,觉得还是有很多部分可以聊的,毕竟,实名制的服务器规则导致国际版无需实名这一特点被无限放大。以前也写过几篇综合性的阿里云国际版vps的分析,其中有一点得到很多人的认同,那句是阿里云不管国内版还是国际版的IO读写速度实在不敢恭维,相对意义上的,如果在这...

hive为你推荐
appmakr如何制作手机软件appmakr如何制作手机app应用软件的方法scanf返回值scanf的返回值密码设置怎么给电脑设置密码?wizardry霍格沃茨学校在哪里?高质量图片iphone上有什么高质量的壁纸APP吗rs485协议485总线上modbus通信协议?spinmaster那个街球队 叫什么And1的 球队和球员介绍平均数计算器用科学计算器怎么求平均数 、标准差、方差??it之家论坛win10蓝屏video_tdr_failure(igkdmd32.sys)原因与解决办法
重庆虚拟主机 企业主机 主机评测 fastdomain 美国主机评论 谷歌香港 hkg 新家坡 登陆空间 linode支付宝 国内域名 国内空间 免备案cdn加速 双11促销 googlevoice 腾讯服务器 发证机构 web服务器有哪些 godaddy域名 网络安装 更多