节点弹性

弹性  时间:2021-03-03  阅读:()
弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第1共14弹性MapReduce常问题产品文档弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第2共14【版权声明】2013-2019腾讯云版权所有本文档著作权归腾讯云单独所有,未经腾讯云事先书面许可,任何主体不得以任何形式复制、修改、抄袭、传播全部或部分本文档内容.
【商标声明】及其它腾讯云服务相关的商标均为腾讯云计算(北京)有限责任公司及其关联公司所有.
本文档涉及的第三方主体的商标,依法由权利人所有.
【服务声明】本文档意在向客户介绍腾讯云全部或部分产品、服务的当时的整体概况,部分产品、服务的内容可能有所调整.
您所购买的腾讯云产品、服务的种类、服务标准等应由您与腾讯云之间的商业合同约定,除非双方另有约定,否则,腾讯云对本文档内容不做任何明示或模式的承诺或保证.
弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第3共14文档目录常问题弹性MapReduce基本问题EMR-Master节点配置过低运行失败Yarnnodemanager节点不健康指导控制台报错InternalError问题HiveServer2迁移到Router集群网络设置问题弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第4共14如何查看任务日志您可以登录任意一台EMR服务器执行以下命令查看任务日志:yarnlogs-applicationIdapplication_1507732460084_0057如需查看任务异常原因可通过以下命令实现:yarnlogs-applicationIdapplication_1507732460084_0057|grep-A20Exception如何调整集群计算资源集群计算资源由yarn-site.
xml中的以下两项配置决定:yarn.
nodemanager.
resource.
cpu-vcores4yarn.
nodemanager.
resource.
memory-mb14745默认情况下cpu-vcores等于机器的CPU核数,memory-mb等于机器内存的91%,可以根据实际情况作出调整,如果设置太大则存在机器宕机的险.
如何处理任务执行时内存溢出提交MR任务或者通过Hive执行SQL脚本时发生内存溢出可以通过设置以下参数处理:setmapreduce.
map.
java.
opts=-Xmx4096m;setmapreduce.
reduce.
java.
opts=-Xmx4096m;常问题弹性MapReduce基本问题最近更新时间:2020-08-1016:13:00注意:需以Hadoop用户身份执行该命令.
如果是其他用户的任务可以添加参数-appOwnerusername.
弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第5共14可以根据计算需要调整内存参数,如果是Hive也可写在~/.
hiverc文件下,提交的时候会自动执行.
如何预估集群规模假设您的一次运算以SQL执行为例,如果想要在确定的时间里查询到结果需要的vcore为64个,内存为128GB,业务要求一次要支持10个并发,那么需要的资源为vcore640个,内存1280GB,假设采用24核48GB的设备,那么需要的计算设备量为:1280/48约等于27台.
如何设置Hive的fetch查询Hive默认查询如下:select*fromtablenamewherea='1'limit10;默认查询不会启动计算任务,您可以通过添加sethive.
fetch.
task.
conversion=none参数开启分布式查询.
如何选择集群存储介质EMR集群支持如下存储介质,普通本地盘、SSD本地盘、普通云硬盘,SSD云硬盘以及对象存储COS,您可以根据实际需要来选择存储介质:如果您的应用场景是大规模数据仓库分析,对时延不是那么敏感,建议您使用COS作为底层存储.
如果您非常熟悉HDFS而且使用COS迁移成本过高,您也可以使用普通云盘.
如果您的应用是海量列式数据库Hbase,需要高效写入和查询,建议您使用本地SSD盘或者SSD云硬盘.
弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第6共14EMR-Master节点配置过低运行失败怎么处理问题现象由于Master节点配置过低,导致在该节点提交hive/spark作业报错或者直接被kill.
原因分析Master的内存不足导致其他应用OOM被kill.
解决方案1.
EMR的Master节点由于部署了太多的业务,通常都会成为整个集群瓶颈,而Master节点无法扩容,只能考虑升配,升配步骤如下:首先确定客户集群中standbynamenode所在节点.
namenodestandby节点上执行如下命令,进入安全模式.
hdfsdfsadmin-fs10.
0.
0.
9(standby节点IP):4007-safemodeenter进入安全模式namenodestandby节点上执行如下命令,保存元数据.
hdfsdfsadmin-fs10.
0.
0.
9(standby节点IP):4007-saveNamespace保存元数据namenodestandby节点上执行如下命令,离开安全模式.
hdfsdfsadmin-fs10.
0.
0.
9(standby节点IP):4007-safemodeleave离开安全模式然后在EMR控制台(老集群在CVM控制台)对active节点进行升级配置.
standby节点配置升级,master的active和standby节点配置统一.
2.
Spark提交任务默认模式是client,driver在master执行.
可以将其模式mode改为master后提交任务.
3.
关于Hive组件,启用Router节点,将HiveServer2迁移到Router,然后关闭master上的Hive组件,操作流程可参考HiveServer2迁移到Router.
4.
停用master上不常用的组件,或将Hue迁移到Router节点上.
关于Hue迁移Router操作流程:进入EMR控制台,云硬件管理扩容Router节点,选中Hue组件.
EMR-Master节点配置过低运行失败最近更新时间:2020-03-1316:53:28注意:如果客户集群是非HA的,也就是非高可用的,那么升级肯定会有一段时间集群不可用.
弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第7共14扩容完成后,停用原来master-hue组件,保留Router节点的Hue组件,为该节点绑定弹性外网IP,同时安全组开放来源策略及端口.
EMR集群Master相应组件内存预设值及建议情况:1.
常用组件堆内存列表情况组件进程配置文件配置项默认堆内存mbHDFSNamenodehadoop-env.
shNNHeapsize4096YARNResourcemanegeryarn-env.
shHeapsize2000HiveHiveserver2hive-env.
shHS2Heapsize4096HbaseHmasterhbase-env.
shHeapsize1024PrestoCoordinatorjvm.
congjvm最大值3gbSparkspark-driverspark-defaults.
confspark.
driver.
memory1024oozieoozie--1024stormNimbus--10242.
组件建议预设值组件堆内存建议值HDFS(Namenode)堆内存最小内存=250*文件数量+290*目录数量+368*块数量YARN(Resourcemaneger)根据实际使用情况调整,可增大Hive(Hiveserver2)根据实际使用情况调整,可增大Hbase(Hmaster)master仅接收DDL请求和做负载均衡,默认1g一般够用Presto(Coordinator)默认即可Spark(spark-driver)根据实际使用情况调整,可增大Oozie(oozie)默认即可Storm(Nimbus)默认即可弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第8共143.
机器系统剩余内存建议值:总内存的10%-20%.
4.
EMR部署组件根据实际的业务情况可分为独立部署或者混合部署.
独立部署:专门用于存储如HDFS集群,用于海量数据分析的Hbase集群,计算任务的spark集群等.
混合部署:测试集群或当前业务量不大,或资源抢占不严重的情况下可以进行多个组件部署到同一个集群.
弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第9共14出现Yarnnodemanager节点不健康问题怎么处理问题现象Core节点磁盘利用率超过90%,nodemanager会置为不健康状态(UnhealthyNodes).
解决方案1.
建议添加云监控,设置EMR子机磁盘利用率在80%-85%时告警,避免节点磁盘利用率超过90%时,nodemanager节点状态不健康.
云监控配置EMR磁盘利用率地址:https://console.
cloud.
tencent.
com/monitor/policyTemplate2.
若磁盘不足可进行扩容Core节点后做balancer,分担HDFS存储空间在当前Core节点上的压力.
3.
定期清理磁盘空间.
Core节点本身的存储空间.
整个HDFS的存储空间.
Yarnnodemanager节点不健康指导最近更新时间:2020-10-1016:28:07弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第10共14控制台报错InternalError要如何处理1.
非主账号在购买EMR集群时报错InternalError.
【问题原因】当前登录账号缺少权限.
【解决方案】需先确定当前登录账号进行了实名认证,然后确认被授予了支付权限.
2.
非主账号单击控制台【硬件管理】时报错InternalError.
【问题原因】当前登录账号缺少权限.
【解决方案】打开如下链接:https://console.
cloud.
tencent.
com/cam/role/grantroleName=EMR_QCSRole&policyName=QcloudAccessForEMRRole&principal=eyJzZXJ2aWNlIjoiZW1yLmNsb3VkLnRlbmNlbnQuY29tIn0=&serviceType=EMR,然后使用主账号授权EMR权限即可.
控制台报错InternalError问题最近更新时间:2020-03-1316:52:00弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第11共14HiveServer2迁移到Router的方法是什么1.
登录EMR控制台,在【集群列表】中选择对应的集群单击【ID/名称】进入集群详情,在集群详情中选择【集群资源】>【资源管理】,进入资源管理面,单击【扩容】进入集群扩容面.
在集群扩容面中,选择扩容【节点类型】为【Router】,【扩容服务】为【Hive-2.
3.
5】,其他选项可根据需HiveServer2迁移到Router最近更新时间:2020-11-2710:21:15弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第12共14要自行选择.
2.
登录router节点,修改hive-site.
xml配置文件.
3.
关闭master上的hive服务.
在【集群服务】中选择hive组件的【操作】>【角色管理】,将master节点上的所有hive进程暂停,重启弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第13共14Router节点上的hive进程.
4.
测试.
在router上测试hiveserver2.
如果能正确连接并查询到已有的表,则说明迁移成功.
5.
Hue更改配置文件以至于代理到Router的Hive组件.
vim/usr/local/service/knox/conf/topologies/emr.
xml修改HIVE和HIVEUI.
HIVEhttp://Router-ip:7003replayBufferSize8HIVEUIhttp://Router-ip:7003命令行执行重启knox.
suhadoop/usr/local/service/knox/bin/gateway.
shstop;/usr/local/service/knox/bin/gateway.
shstart弹性MapReduce版权所有:腾讯云计算(北京)有限责任公司第14共14购买设置集群网络报错"集群所选可用区内无子网"如何处理私有网络是跨可用区的,默认会加载当前地域的所有私有网络;子网是归属可用区的,默认会加载集群所在可用区的已有子网,请检查当前已选可用区是否有可用子网.
集群网络设置问题最近更新时间:2020-04-2109:45:56

SugarHosts糖果主机六折 云服务器五折

也有在上个月介绍到糖果主机商12周年的促销活动,我有看到不少的朋友还是选择他们家的香港虚拟主机和美国虚拟主机比较多,同时有一个网友有联系到推荐入门的个人网站主机,最后建议他选择糖果主机的迷你主机方案,适合单个站点的。这次商家又推出所谓的秋季活动促销,这里一并整理看看这个服务商在秋季活动中有哪些值得选择的主机方案,比如虚拟主机最低可以享受六折,云服务器可以享受五折优惠。 官网地址:糖果主机秋季活动促...

Dynadot COM特价新注册48元

想必我们有一些朋友应该陆续收到国内和国外的域名注册商关于域名即将涨价的信息。大概的意思是说从9月1日开始,.COM域名会涨价一点点,大约需要单个9.99美元左右一个。其实对于大部分用户来说也没多大的影响,毕竟如今什么都涨价,域名涨一点点也不要紧。如果是域名较多的话,确实增加续费成本和注册成本。今天整理看到Dynadot有发布新的八月份域名优惠活动,.COM首年注册依然是仅需48元,本次优惠活动截止...

#推荐# cmivps:全场7折,香港不限流量VPS,支持Windows系统

cmivps香港VPS带来了3个新消息:(1)双向流量改为单向流量,相当于流量间接扩大一倍;(2)Hong Kong 2T、Hong Kong 3T、Hong Kong 无限流量,这三款VPS开始支持Windows系统,如果需要中文版Windows系统请下单付款完成之后发ticket要求官方更改即可;(3)全场7折年付、8折月付优惠,优惠码有效期一个月!官方网站:https://www.cmivp...

弹性为你推荐
中国电信互联星空互联星空是什么?是电信公司的吗?渗透测试软件测试与渗透测试那个工作有前途网站联盟网盟跟b2b平台有什么区别腾讯文章怎么在手机腾讯网发文章怎么点亮qq空间图标怎样点亮qq空间的图标怎么上传音乐如何将电脑上的音乐传到MP3上三星s8什么时候上市三星盖乐世S8上市时间公布 三星盖乐世s8多少钱声母是什么哪些是声母,哪些是韵母,qq等级表QQ等级天数表聚美优品红包在支付宝钱包里的聚美优品红包要怎么使用
北京vps主机 国外主机 site5 主机点评 sugarsync 好看的留言 阿里云代金券 湖南服务器托管 已备案删除域名 中国电信测网速 南通服务器 东莞服务器 香港新世界中心 沈阳主机托管 supercache 免备案cdn加速 上海联通 湖南铁通 带宽测速 低价 更多