集群虚拟内存不足怎么办

虚拟内存不足怎么办  时间:2021-01-19  阅读:()

Kafka集群调优KafkaCluster模式最大的优点:可扩展性和容错性,下图是关于Kafka集群的结构图:KafkaBroker个数决定因素磁盘容量:首先考虑的是所需保存的消息所占用的总磁盘容量和每个broker所能提供的磁盘空间.
如果Kafka集群需要保留10TB数据,单个broker能存储2TB,那么我们需要的最小Kafka集群大小5个broker.
此外,如果启用副本参数,则对应的存储空间需至少增加一倍(取决于副本参数).
这意味着对应的Kafka集群至少需要10个broker.
请求量:另外一个要考虑的是Kafka集群处理请求的能力.
这主要取决于对Kafkaclient请求的网络处理能力,特别是,有多个consumer或者网路流量不稳定.
如果,高峰时刻,单个broker的网络流量达到80%,这时是撑不住两个consumer的,除非有两个broker.
再者,如果启用了副本参数,则需要考虑副本这个额外的consumer.
也可以扩展多个broker来减少磁盘的吞吐量和系统内存.
操作系统优化大部分Linux发布版本默认的内核参数配置能让大部分应用工作的相当好.
但对于实际的Kafkabroker场景来说,做稍些改变会提升broker性能.
主要涉及的配置:虚拟内存、网络和磁盘挂载(用来存储logsegment),一般在/etc/sysctl.
conf(CentOS系统).
VirtualMemory一般来说,Linux的虚拟内存会根据系统负载自动调整.
内存页(page)swap到磁盘会显著1/3的影响Kafka的性能,并且Kafka重度使用pagecache,如果VM系统swap到磁盘,那说明没有足够的内存来分配pagecache.
避免swap的一种方式是设置swap空间为0.
但是,swap会在系统崩溃时提供安全机制,或者会在outofmemory的情况下阻止操作系统kill掉进程.
由于这个原因,推荐vm.
swappiness参数设置为一个非常低的值:1.
这个参数表示VM系统中的多少百分比用来作为swap空间.
另外一种方式是通过内核调节"脏页"(注:"脏页"会被刷到磁盘上).
Kafka依赖磁盘I/O性能来提高producer的响应时间.
这也是为什么通常优先把logsegment功能放在可以快速响应的磁盘中(比如,SSD).
这样使得flush进程把"脏数据"写入磁盘前,"脏页"数目就减少了,可以设置vm.
dirty_background_ratio(表示占用系统内存的百分比)参数的值为10以下.
大部分应用场景下,vm.
dirty_background_ratio设置为5就够用了,要注意了:这个参数值不能设置为0,因为设置为0后会引起内核持续刷"脏页",使得内核的bufferwrite功能没法施展.
"脏页"的总量可以通过vm.
dirty_ratio来改变,默认值是20(此处也是百分比),这个值的设置范围较大,一般建议设置60到80为合理的值.
但是vm.
dirty_ratio参数也引来了不小的风险,会造成大量unflush的数据在硬刷到磁盘时产生较长的I/O停顿.
如果vm.
dirty_ratio值设置的较大时,强烈建议Kafka开启备份功能,以备系统崩溃.
在设置了这些参数后,需要监控Kafka集群运行时"脏页"的数量,当前"脏页"数量可由如下方式查看(/proc/vmstat文件):#cat/proc/vmstat|egrep"dirty|writeback"nr_dirty3875nr_writeback29nr_writeback_temp0磁盘除了考虑磁盘硬件本身和RAID配置外,磁盘的filesystem对Kafka集群的影响最大.
虽然有许多filesystem,但最常用的是EXT4或者XFS.
在这里XFS文件系统比EXT4稍好,具体原因Google下.
另外一点是,建议开启mount的noatimemount选项.
文件系统在文件被访问、创建、修改等的时候会记录文件的一些时间戳,比如:文件创建时间(ctime)、最近一次修改时间(mtime)和最近一次访问时间(atime).
默认情况下,atime的更新会有一次读操作,这会产生大量的磁盘读写,然而atime对Kafka完全没用.
网络Linux发布版本的网络参数对高网络流量不适用.
对于Kafka集群,推荐更改每个socket发送和接收buffer的最大内存:net.
core.
wmem_default和net.
core.
rmem_default为128kb,net.
core.
wmem_max和net.
core.
rmem_max为2Mb.
另外一个socket参数是TCP2/3socket的发送和接收buffer:net.
ipv4.
tcp_wmem和net.
ipv4.
tcp_rmem.
Kafka集群稳定GC调优调GC是门手艺活,幸亏Java7引进了G1垃圾回收,使得GC调优变的没那么难.
G1主要有两个配置选项来调优:MaxGCPauseMillis和InitiatingHeapOccupancyPercent,具体参数设置可以参考Google,这里不赘述.
Kafkabroker能够有效的利用堆内存和对象回收,所以这些值可以调小点.
对于64Gb内存,Kafka运行堆内存5Gb,MaxGCPauseMillis和InitiatingHeapOccupancyPercent分别设置为20毫秒和35.
Kafka的启动脚本使用的不是G1回收,需要在环境变量中加入:#exportJAVA_HOME=/usr/java/jdk1.
8.
0_51#exportKAFKA_JVM_PERFORMANCE_OPTS="-server-XX:+UseG1GC-XX:MaxGCPauseMillis=20-XX:InitiatingHeapOccupancyPercent=35-XX:+DisableExplicitGC-Djava.
awt.
headless=true"#/usr/local/kafka/bin/kafka-server-start.
sh-daemon/usr/local/kafka/config/server.
properties数据中心布局原则上Kafkabroker不建议都在一个机架上,为了容灾,但现实情况大部分公司做不到,此处略去.

搬瓦工:新增荷兰机房 EUNL_9 测评,联通 AS10099/AS9929 高端优化路线/速度 延迟 路由 丢包测试

搬瓦工最近上线了一个新的荷兰机房,荷兰 EUNL_9 机房,这个 9 的编号感觉也挺随性的,之前的荷兰机房编号是 EUNL_3。这次荷兰新机房 EUNL_9 采用联通 AS9929 高端路线,三网都接入了 AS9929,对于联通用户来说是个好消息,又多了一个选择。对于其他用户可能还是 CN2 GIA 机房更合适一些。其实对于联通用户,这个荷兰机房也是比较远的,相比之下日本软银 JPOS_1 机房可...

个人网站备案流程及注意事项(内容方向和适用主机商)

如今我们还有在做个人网站吗?随着自媒体和短视频的发展和兴起,包括我们很多WEB2.0产品的延续,当然也包括个人建站市场的低迷和用户关注的不同,有些个人已经不在做网站。但是,由于我们有些朋友出于网站的爱好或者说是有些项目还是基于PC端网站的,还是有网友抱有信心的,比如我们看到有一些老牌个人网站依旧在运行,且还有新网站的出现。今天在这篇文章中谈谈有网友问关于个人网站备案的问题。这个也是前几天有他在选择...

Hostodo(年付$34.99), 8TB月流量 3个机房可选

Hostodo 算是比较小众的海外主机商,这次九月份开学季有提供促销活动。不过如果我们有熟悉的朋友应该知道,这个服务商家也是比较时间久的,而且商家推进活动比较稳,每个月都有部分活动。目前有提供机房可选斯波坎、拉斯维加斯和迈阿密。从机房的地理位置和实际的速度,中文业务速度应该不是优化直连的,但是有需要海外业务的话一般有人选择。以前一直也持有他们家的年付12美元的机器,后来用不到就取消未续约。第一、开...

虚拟内存不足怎么办为你推荐
域名查询我的电脑域名怎么查虚拟空间租用我在网上租用了个虚拟空间。带域名。。想在里面放置AVI,等视频。放在目录里,然后怎么设置才能在域名观看呢国际域名注册如何在国外域名注册商注册国际域名哩虚拟主机申请个人虚拟主机怎么申请?虚拟空间哪个好国内哪个空间商(虚拟主机)最好虚拟主机系统虚拟主机上的系统与电脑操作系统差别?北京虚拟主机租用租用虚拟主机在哪里租用比较好北京虚拟主机租用北京云主机租用哪家资质正规,价格便宜,服务好?要真云主机不要那种vps的假云主机,机房要在北京的!虚拟主机排名换一台虚拟主机会影响排名吗?中文域名中文域名有哪写类型?
免费二级域名注册 上海服务器租用 服务器租用托管 西安服务器租用 快速域名备案 中国域名网 a5域名交易 mach5 42u标准机柜尺寸 私有云存储 183是联通还是移动 江苏双线服务器 申请免费空间 asp空间 美国十大啦 zencart安装 iptables nano cc攻击 主机配置 更多