hivehive的适用场景

hive  时间:2021-08-10  阅读:()

Hive是什么?

此外,hive也支持熟悉map-reduce的开发者使用map-reduce程序对数据做更加复杂的分析。

hive可以很好的结合thrift和控制分隔符,也支持用户自定义分隔符。

hive基于hadoop,hadoop是批处理系统,不能保存低延迟,因此,hive的查询也不能保证低延迟。

hive的工作模式是:提交一个任务,等到任务结束时被通知,而不是实时查询。

相对应的是,类似于Oracle这样的系统当运行于小数据集的时候,响应非常快,可当处理的数据集非常大的时候,可能需要数小时。

需要说明的是,hive即使在很小的数据集上运行,也可能需要数分钟才能完成。

低延迟不是hive追求的首要目标。

Hadoop,Hive,Spark 之间是什么关系

hadoop包含以下组件:hdfs,mapreduce,yarn。

hive是数据仓库:用于管理结构化数据,数据存于hdfs上。

spark是一个分布式计算框架:区别于hadoop的另一种mapreduce的计算框架。

基于RDD的分布式内存计算引擎。

hive的适用场景

Hive 构建在基于静态批处理的Hadoop 之上,Hadoop 通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。

因此,Hive 并不能够在大规模数据集上实现低延迟快速的查询,例如,Hive 在几百MB 的数据集上执行查询一般有分钟级的时间延迟。

因此, Hive 并不适合那些需要低延迟的应用,例如,联机事务处理(OLTP)。

Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型,Hive 将用户的HiveQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上,Hadoop 监控作业执行过程,然后返回作业执行结果给用户。

Hive 并非为联机事务处理而设计,Hive 并不提供实时的查询和基于行级的数据更新操作。

Hive 的最佳使用场合是大数据集的批处理作业,例如,网络日志分析。

Letbox(35美元/年),美国洛杉矶VPS终身7折

Letbox 云服务商在前面的文章中其实也有多次介绍,这个服务商其实也算是比较老牌的海外服务商,几年前我也一直有使用过他们家的VPS主机,早年那时候低至年付15-35美元左右的VPS算式比较稀缺的。后来由于服务商确实比较多,而且也没有太多的网站需要用到,所以就没有续费,最近这个服务商好像有点活动就躁动的发布希望引起他人注意。这不有看到所谓的家中有喜事,应该是团队中有生宝宝了,所以也有借此来发布一些...

域名注册需要哪些条件(新手注册域名考虑的问题)

今天下午遇到一个网友聊到他昨天新注册的一个域名,今天在去使用的时候发现域名居然不见。开始怀疑他昨天是否付款扣费,以及是否有实名认证过,毕竟我们在国内域名注册平台注册域名是需要实名认证的,大概3-5天内如果不验证那是不可以使用的。但是如果注册完毕的域名找不到那也是奇怪。同时我也有怀疑他是不是忘记记错账户。毕竟我们有很多朋友在某个商家注册很多账户,有时候自己都忘记是用哪个账户的。但是我们去找账户也不办...

SugarHosts糖果主机圣诞节促销 美国/香港虚拟主机低至6折

SugarHosts 糖果主机商我们算是比较熟悉的,早年学会建站的时候开始就用的糖果虚拟主机,目前他们家还算是为数不多提供虚拟主机的商家,有提供香港、美国、德国等虚拟主机机房。香港机房CN2速度比较快,美国机房有提供优化线路和普通线路适合外贸业务。德国欧洲机房适合欧洲业务的虚拟主机。糖果主机商一般是不会发布黑五活动的,他们在圣圣诞节促销活动是有的,我们看到糖果主机商发布的圣诞节促销虚拟主机低至6折...

hive为你推荐
ie9下载我的电脑是ie11怎么装ie9订单详情请问拼多多如何查看订单详情?怎么将购买的订单详情全部导出?密码设置怎样登录怎样设置密码局域网ip扫描工具局域网的IP段怎么扫描系统登录界面怎么样将系统登陆界面设置为可以切换到窗口登陆?qsv视频格式转换器QSV格式的视频用什么格式转换器可以转换?阶乘函数C语言中有计算阶乘的函数吗 不是自己写,,,是那种可以直接调用的函数比特币官方客户端bitcoin cash(BCC)是什么网页错误详细信息网页错误详细信息 消息: 'this._self.style' 为空或不是对象移动硬盘提示格式化我要打开可移动磁盘 为什么显示格式化
com域名注册1元 x3220 漂亮qq空间 香港服务器99idc 一点优惠网 权嘉云 200g硬盘 购买国外空间 七夕快乐英语 raid10 万网空间管理 国外的代理服务器 免费个人网页 国外网页代理 阿里dns 云服务是什么意思 google搜索打不开 windowssever2008 时间同步服务器 傲盾代理 更多