重磅:Kafka迎来1.
0.
0版本,正式告别四位数版本号!
Kafka从首次发布之日起,已经走过了七个年头.
从最开始的大规模消息系统,发展成为功能完善的分布式流式处理平台,用于发布和订阅、存储及实时地处理大规模流数据.
来自世界各地的数千家公司在使用Kafka,包括三分之一的500强公司.
Kafka以稳健的步伐向前迈进,首先加入了复制功能和无边界的键值数据存储,接着推出了用于集成外部存储系统的ConnectAPI,后又推出了为实时应用和事件驱动应用提供原生流式处理能力的StreamsAPI,并于今年春季开始支持仅一次处理语义.
如此广泛的应用和完备的功能以及如此悠久的历史,无一不在说明Kafka已经成为一款稳定的企业级产品.
而更为激动人心的是,Kafka现在正式迎来了1.
0.
0版本!
Kafka1.
0.
0主要更新0.
10.
0版本里开始引入的StreamsAPI在1.
0.
0版本里继续演进,改进了builderAPI(KIP-120),新增了用于查看运行时活跃任务的API(KIP-130)和用于聚合分区的cogroupAPI(KIP-150).
增强的print()和writeAsText()方法让调试变得更容易(KIP-160).
其他更多信息可以参考Streams文档.
改进了Connect的度量指标(KIP-196),新增了大量用于健康监测的度量指标(KIP-188),并提供了集群的GloabalTopicCount和GlobalPartitionCount度量指标(KIP-168).
支持Java9,实现更快的TLS和CRC32C,加快了加密速度,降低了计算开销.
调整了SASL认证模块的错误处理逻辑(KIP-152),原先的认证错误信息现在被清晰地记录到日志当中.
更好地支持磁盘容错(KIP-112),更优雅地处理磁盘错误,单个JBOD上的磁盘错误不会导致整个集群崩溃.
0.
11.
0版本中引入的幂等性生产者需要将max.
in.
flight.
requests.
per.
connection参数设置为1,这对吞吐量造成了一定的限制.
而在1.
0.
0版本里,这个参数最大可以被设置为5(KAFKA-5949),极大提升了吞吐量范围.
1/3如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoopApacheKafka1.
0.
0RELEASENOTES下载ApacheKafka1.
0.
0崛起的KafkaKafka起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用.
目前越来越多的开源分布式处理系统如Cloudera、ApacheStorm、Spark等都支持与Kafka集成.
随着微服务的流行,很多公司都在尝试将现有的系统进行架构升级.
促成Movio公司架构改造的一项关键技术就是Kafka消息队列.
Kafka作为分布式消息队列,在可靠性和可扩展性方面有非常大的优势.
它不仅成为了Movio公司基础架构的关键组成部分,还为正在创建的系统架构提供了依据.
Kafka全面解析Kafka数据可靠性深度解读Kafka作为一个商业级消息中间件,消息可靠性的重要性可想而知.
如何确保消息的精确传输如何确保消息的准确存储如何确保消息的正确消费这些都是需要考虑的问题.
唯品会消息中间件团队首先从Kafka的架构着手,解释了Kafka的基本原理,然后通过对kakfa的存储机制、复制原理、同步原理、可靠性和持久性保证等等一步步对其可靠性进行分析,最后2/3通过benchmark来增强对Kafka高可靠性的认知.
KafkaStream设计详解本文介绍了KafkaStream的背景,如KafkaStream是什么,什么是流式计算,以及为什么要有KafkaStream.
接着介绍了KafkaStream的整体架构、并行模型、状态存储以及主要的两种数据集KStream和KTable.
然后分析了KafkaStream如何解决流式系统中的关键问题,如时间定义、窗口操作、Join操作、聚合操作,以及如何处理乱序和提供容错能力.
最后结合示例讲解了如何使用KafkaStream.
Kafka不只是个消息系统Confluent联合创始人兼CEOJayKreps发表了一篇博文,指出了Kafka的真正定位——它不只是个消息系统,它还是个存储系统,而它的终极目标是要让流式处理成为现代企业的主流开发范式.
人们更多的是把Kafka当成了消息队列系统.
消息队列有一些不成文的规则,比如"不要在消息队列里保存消息".
传统的消息系统在设计上存在很多不足.
从根本上讲,任何一个异步消息系统都会保存消息,只是时间很短,有时候只有几秒钟,直到消息被消费为止.
实际上,Kafka并非传统意义上的消息队列,它与RabbitMQ等消息系统并不一样.
它更像是一个分布式的文件系统或数据库.
Kafka与传统消息系统之间有三个关键区别.
Kafka持久化日志,这些日志可以被重复读取和无限期保留Kafka是一个分布式系统:它以集群的方式运行,可以灵活伸缩,在内部通过复制数据提升容错能力和高可用性Kafka支持实时的流式处理以上三点足以将Kafka与传统的消息队列区别开,我们甚至可以把它看成是流式处理平台.
因此,在Kafka里存储数据并不是什么疯狂事,甚至可以说Kafka本来就是设计用来存储数据的.
数据经过校验后被持久化在磁盘上,并通过复制副本提升容错能力.
再多的数据都不会拖慢Kafka,在生产环境中,有些Kafka集群甚至已经保存超过1TB的数据.
本博客文章除特别声明,全部都是原创!
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载.
本文链接:【】()PoweredbyTCPDF(www.
tcpdf.
org)3/3
RAKsmart 商家八月份的促销活动今天更新。基本上和上个月的产品套餐活动差不多的,不过也是有简单的微调。对于RAKsmart商家还是比较了解的,他们家产品虽然这两年增加多个机房,以及在VPS主机方案上有丰富的机房和调整到一些自营机房,他们家的策划能力还是有限,基本上每个月的套餐活动都差不多。RAKsmart 在八月份看到有新增香港高防服务器可选,最高100GB防御。同时原来上个月缺货的日本独立...
整理一下CloudCone商家之前推送的闪购VPS云服务器产品,数量有限,活动推出可能很快机器就售罄了,有需要美国便宜VPS云服务器的朋友可以关注一下。CloudCone怎么样?CloudCone服务器好不好?CloudCone值不值得购买?CloudCone是一家成立于2017年的美国服务器提供商,国外实力大厂,自己开发的主机系统面板,CloudCone主要销售美国洛杉矶云服务器产品,优势特点是...
欧路云怎么样?欧路云主要运行弹性云服务器,可自由定制配置,可选加拿大的480G超高防系列,也可以选择美国(200G高防)系列,也有速度直逼内地的香港CN2系列。所有配置都可以在下单的时候自行根据项目 需求来定制自由升级降级 (降级按天数配置费用 退款回预存款)。2021年7月14日美国 CERA 弹性云服务器 上新 联通CUVIP 线路!8折特惠中!点击进入:欧路云官方网站地址付款方式:PayPa...
暴风冯鑫被正式提起公诉为你推荐
温州市网络文明传播志愿者信息登记表wordpress模板wordpress 模板和wordpress主题有什么不同建企业网站想建立一个企业网站outlookexpressoutlook express 是什么?360arp防火墙在哪arp防火墙在哪开额- -360里是哪个?ipad代理在哪买ipad更便宜银花珠树晓来看谜语白色花无人栽一夜北风遍地开。旡根无叶又无枝不知是谁送花来。谜底是什么科创板首批名单江苏北人的机器人在同行中的评价怎么样?小型汽车网上自主编号申请请问各位大虾,如何在网上选车牌号?oa办公软件价格一个oa系统多少钱
踢楼 免备案cdn ssh帐号 网页背景图片 国外php空间 eq2 193邮箱 架设服务器 腾讯实名认证中心 息壤代理 linux使用教程 安徽双线服务器 免费asp空间 智能dns解析 独立主机 中国域名 双线空间 supercache 成都主机托管 1美元 更多