zookeeper什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体，7

zookeeper 时间:2021-08-26 阅读:()

有没有人能通俗易懂的解释Zookeeper是什么

字面意思就是管理员，其是为了因对高并发服务器情况下的一种服务器策略。

我理解的是在在多个从服务器之间只存在一个主服务器，一旦主服务器挂了，系统就会理解在剩下的从服务器中选举出一个主服务器，以维持整个集群的正常工作。

说的好像太简单了。

zookeeper是什么语言写的

本文是Jason Wilder对于常见的服务发现项目 Zookeeper ， Doozer ， Etcd 所写的一篇博客，其原文地址如下： Open-Source Service Discovery 。

服务发现是大多数分布式系统以及面向服务架构（SOA）的一个核心组成部分。

这个难题，简单来说，可以认为是：当一项服务存在于多个主机节点上时，client端如何决策获取相应正确的IP和port。

在传统情况下，当出现服务存在于多个主机节点上时，都会使用静态配置的方法来实现服务信息的注册。

但是当大型系统中，需要部署更多服务的时候，事情就显得复杂得多。

在一个实时的系统中，由于自动或者人工的服务扩展，或者服务的新添加部署，还有主机的宕机或者被替换，服务的location信息可能会很频繁的变化。

在这样的场景下，为了避免不必要的服务中断，动态的服务注册和发现就显得尤为重要。

关于服务发现的话题，已经很多次被人所提及，而且也的确不断的在发展。

现在，笔者介绍一下该领域内一些open-source或者被经常被世人广泛讨论的解决方案，尝试理解它们到底是如何工作的。

特别的是，我们会较为专注于每一个解决方案的一致性算法，到底是强一致性，还是弱一致性；运行时依赖；client的集成选择；以后最后这些特性的折中情况。

本文首先从几个强一致性的项目于开始，比如Zookeeper，Doozer，Etcd，这些项目主要用于服务间的协调，同时又可用于服务的注册。

随后，本文将讨论一些在服务注册以及发现方面比较有意思的项目，比如：Airbnb的SmartStack，Netflix的Eureka，Bitly的NSQ，Serf，Spotify and DNS，最后是SkyDNS。

问题陈述在定位服务的时候，其实会有两个方面的问题：服务注册（Service Registration）和服务发现（Service Discovery）。

服务注册—— 一个服务将其位置信息在中心注册节点注册的过程。

该服务一般会将它的主机IP地址以及端口号进行注册，有时也会有服务访问的认证信息，使用协议，版本号，以及关于环境的一些细节信息。

服务发现—— client端的应用实例查询中心注册节点以获知服务位置的过程。

每一个服务的服务注册以及服务发现，都需要考虑一些关于开发以及运营方面的问题：监控—— 当一个已注册完毕的服务失效的时候，如何处理。

一些情况下，在一个设定的超时定时(timeout)后，该服务立即被一个其他的进程在中心注册节点处注销。

这种情况下，服务通常需要执行一个心跳机制，来确保自身的存活状态；而客户端必然需要能够可靠处理失效的服务。

负载均衡—— 如果多个相同地位的服务都注册完毕，如何在这些服务之间均衡所有client的请求负载？如果有一个master节点的话，是否可以正确处理client访问的服务的位置。

集成方式—— 信息注册节点是否需要提供一些语言绑定的支持，比如说，只支持Java？集成的过程是否需要将注册过程以及发现过程的代码嵌入到你的应用程序中，或者使用一个类似于集成助手的进程？运行时依赖—— 是否需要JVM，ruby或者其他在你的环境中并不兼容的运行时？可用性考虑—— 如果系统失去一个节点的话，是否还能正常工作？系统是否可以实时更新或升级，而不造成任何系统的瘫痪？既然集群的信息注册节点是架构中的中心部分，那该模块是否会存在单点故障问题？强一致性的Registries 首先介绍的三个服务注册系统都采用了强一致性协议，实际上为达到通用的效果，使用了一致性的数据存储。

尽管我们把它们看作服务的注册系统，其实它们还可以用于协调服务来协助leader选举，以及在一个分布式clients的集合中做centralized locking。

Zookeeper Zookeeper是一个集中式的服务，该服务可以维护服务配置信息，命名空间，提供分布式的同步，以及提供组化服务。

Zookeeper是由Java语言实现，实现了强一致性（CP），并且是使用 Zab协议在ensemble集群之间协调服务信息的变化。

Zookeeper在ensemble集群中运行3个，5个或者7个成员。

众多client端为了可以访问ensemble，需要使用绑定特定的语言。

这种访问形式被显性的嵌入到了client的应用实例以及服务中。

服务注册的实现主要是通过命令空间（namespace）下的 ephemeral nodes 。

ephemeral nodes只有在client建立连接后才存在。

当client所在节点启动之后，该client端会使用一个后台进程获取client的位置信息，并完成自身的注册。

如果该client失效或者失去连接的时候，该ephemeral node就从树中消息。

服务发现是通过列举以及查看具体服务的命名空间来完成的。

Client端收到目前所有注册服务的信息，无论一个服务是否不可用或者系统新添加了一个同类的服务。

Client端同时也需要自行处理所有的负载均衡工作，以及服务的失效工作。

Zookeeper的API用起来可能并没有那么方便，因为语言的绑定之间可能会造成一些细小的差异。

如果使用的是基于JVM的语言的话， Curator Service Discovery Extension 可能会对你有帮助。

由于Zookeeper是一个CP强一致性的系统，因此当网络分区（Partition）出故障的时候，你的部分系统可能将出出现不能注册的情况，也可能出现不能找到已存在的注册信息，即使它们可能在Partition出现期间仍然正常工作。

特殊的是，在任何一个non-quorum端，任何读写都会返回一个错误信息。

Doozer Doozer是一个一致的分布式数据存储系统，Go语言实现，通过 Paxos算法来实现共识的强一致性系统。

这个项目开展了数年之后，停滞了一段时间，而且现在也关闭了一些fork数，使得fork数降至160 。

.不幸的是，现在很难知道该项目的实际发展状态，以及它是否适合使用于生产环境。

Doozer在集群中运行3，5或者7个节点。

和Zookeeper类似，Client端为了访问集群，需要在自身的应用或者服务中使用特殊的语言绑定。

Doozer的服务注册就没有Zookeeper这么直接，因为Doozer没有那些ephemeral node的概念。

一个服务可以在一条路径下注册自己，如果该服务不可用的话，它也不会自动地被移除。

现有很多种方式来解决这样的问题。

一个选择是给注册进程添加一个时间戳和心跳机制，随后在服务发现进程中处理那些超时的路径，也就是注册的服务信息，当然也可以通过另外一个清理进程来实现。

服务发现和Zookeeper很类似，Doozer可以罗列出指定路径下的所有入口，随后可以等待该路径下的任意改动。

如果你在注册期间使用一个时间戳和心跳，你就可以在服务发现期间忽略或者删除任何过期的入口，也就是服务信息。

和Zookeeper一样，Doozer是一个CP强一致性系统，当发生网络分区故障时，会导致同样的后果。

Etcd Etcd 是一个高可用的K-V存储系统，主要应用于共享配置、服务发现等场景。

Etcd可以说是被Zookeeper和Doozer催生而出。

整个系统使用Go语言实现，使用Raft算法来实现选举一致，同时又具有一个基于HTTP+JSON的API。

Etcd，和Doozer和Zookeeper相似，通常在集群中运行3，5或者7个节点。

client端可以使用一种特定的语言进行绑定，同时也可以通过使用HTTP客户端自行实现一种。

服务注册环节主要依赖于使用一个key TTL来确保key的可用性，该key TTL会和服务端的心跳捆绑在一起。

如果一个服务在更新key的TTL时失败了，那么Etcd会对它进行超时处理。

如果一个服务变为不可用状态，client会需要处理这样的连接失效，然后尝试另连接一个服务实例。

服务发现环节设计到罗列在一个目录下的所有key值，随后等待在该目录上的所有变动信息。

由于API接口是基于HTTP的，所以client应用会的Etcd集群保持一个long-polling的连接。

由于Etcd使用 Raft一致性协议，故它应该是一个强一致性系统。

Raft需要一个leader被选举，然后所有的client请求会被该leader所处理。

然而，Etcd似乎也支持从non-leaders中进行读取信息，使用的方式是在读情况下提高可用性的未公开的一致性参数。

在网络分区故障期间，写操作还是会被leader处理，而且同样会出现失效的情况。

如何搭建zookeeper集群

1. 利用节点名称的唯一性来实现共享锁 ZooKeeper抽象出来的节点结构是一个和unix文件系统类似的小型的树状的目录结构。

ZooKeeper机制规定：同一个目录下只能有一个唯一的文件名。

例如：我们在Zookeeper目录/test目录下创建，两个客户端创建一个名为Lock节点，只有一个能够成功。

算法思路: 利用名称唯一性，加锁操作时，只需要所有客户端一起创建/test/Lock节点，只有一个创建成功，成功者获得锁。

解锁时，只需删除/test/Lock节点，其余客户端再次进入竞争创建节点，直到所有客户端都获得锁。

基于以上机制，利用节点名称唯一性机制的共享锁算法流程如图所示：该共享锁实现很符合我们通常多个线程去竞争锁的概念，利用节点名称唯一性的做法简明、可靠。

由上述算法容易看出，由于客户端会同时收到/test/Lock被删除的通知，重新进入竞争创建节点，故存在"惊群现象"。

使用该方法进行测试锁的性能列表如下：总结这种方案的正确性和可靠性是ZooKeeper机制保证的，实现简单。

缺点是会产生“惊群”效应，假如许多客户端在等待一把锁，当锁释放时候所有客户端都被唤醒，仅仅有一个客户端得到锁。

2. 利用临时顺序节点实现共享锁的一般做法首先介绍一下，Zookeeper中有一种节点叫做顺序节点，故名思议，假如我们在/lock/目录下创建节3个点，ZooKeeper集群会按照提起创建的顺序来创建节点，节点分别为/lock/0000000001、/lock/0000000002、/lock/0000000003。

ZooKeeper中还有一种名为临时节点的节点，临时节点由某个客户端创建，当客户端与ZooKeeper集群断开连接，则开节点自动被删除。

利用上面这两个特性，我们来看下获取实现分布式锁的基本逻辑：客户端调用create()方法创建名为“locknode/guid-lock-”的节点，需要注意的是，这里节点的创建类型需要设置为EPHEMERAL_SEQUENTIAL。

客户端调用getChildren(“locknode”)方法来获取所有已经创建的子节点，同时在这个节点上注册上子节点变更通知的Watcher。

客户端获取到所有子节点path之后，如果发现自己在步骤1中创建的节点是所有节点中序号最小的，那么就认为这个客户端获得了锁。

如果在步骤3中发现自己并非是所有子节点中最小的，说明自己还没有获取到锁，就开始等待，直到下次子节点变更通知的时候，再进行子节点的获取，判断是否获取锁。

释放锁的过程相对比较简单，就是删除自己创建的那个子节点即可。

上面这个分布式锁的实现中，大体能够满足了一般的分布式集群竞争锁的需求。

这里说的一般性场景是指集群规模不大，一般在10台机器以内。

不过，细想上面的实现逻辑，我们很容易会发现一个问题，步骤4，“即获取所有的子点，判断自己创建的节点是否已经是序号最小的节点”，这个过程，在整个分布式锁的竞争过程中，大量重复运行，并且绝大多数的运行结果都是判断出自己并非是序号最小的节点，从而继续等待下一次通知——这个显然看起来不怎么科学。

客户端无端的接受到过多的和自己不相关的事件通知，这如果在集群规模大的时候，会对Server造成很大的性能影响，并且如果一旦同一时间有多个节点的客户端断开连接，这个时候，服务器就会像其余客户端发送大量的事件通知——这就是所谓的惊群效应。

而这个问题的根源在于，没有找准客户端真正的关注点。

我们再来回顾一下上面的分布式锁竞争过程，它的核心逻辑在于：判断自己是否是所有节点中序号最小的。

于是，很容易可以联想的到的是，每个节点的创建者只需要关注比自己序号小的那个节点。

3、利用临时顺序节点实现共享锁的改进实现下面是改进后的分布式锁实现，和之前的实现方式唯一不同之处在于，这里设计成每个锁竞争者，只需要关注”locknode”节点下序号比自己小的那个节点是否存在即可。

算法思路：对于加锁操作，可以让所有客户端都去/lock目录下创建临时顺序节点，如果创建的客户端发现自身创建节点序列号是/lock/目录下最小的节点，则获得锁。

否则，监视比自己创建节点的序列号小的节点（比自己创建的节点小的最大节点），进入等待。

对于解锁操作，只需要将自身创建的节点删除即可。

具体算法流程如下图所示: 使用上述算法进行测试的的结果如下表所示：该算法只监控比自身创建节点序列号小(比自己小的最大的节点)的节点，在当前获得锁的节点释放锁的时候没有“惊群”。

总结利用临时顺序节点来实现分布式锁机制其实就是一种按照创建顺序排队的实现。

这种方案效率高，避免了“惊群”效应，多个客户端共同等待锁，当锁释放时只有一个客户端会被唤醒。

4、使用menagerie 其实就是对方案3的一个封装，不用自己写代码了。

直接拿来用就可以了。

menagerie基于Zookeeper实现了java.util.concurrent包的一个分布式版本。

这个封装是更大粒度上对各种分布式一致性使用场景的抽象。

其中最基础和常用的是一个分布式锁的实现：.menagerie.locks.ReentrantZkLock，通过ZooKeeper的全局有序的特性和EPHEMERAL_SEQUENTIAL类型znode的支持，实现了分布式锁。

具体做法是：不同的client上每个试图获得锁的线程，都在相同的basepath下面创建一个EPHEMERAL_SEQUENTIAL的node。

EPHEMERAL表示要创建的是临时znode，创建连接断开时会自动删除； SEQUENTIAL表示要自动在传入的path后面缀上一个自增的全局唯一后缀,作为最终的path。

因此对不同的请求ZK会生成不同的后缀，并分别返回带了各自后缀的path给各个请求。

因为ZK全局有序的特性，不管client请求怎样先后到达，在ZKServer端都会最终排好一个顺序，因此自增后缀最小的那个子节点，就对应第一个到达ZK的有效请求。

然后client读取basepath下的所有子节点和ZK返回给自己的path进行比较，当发现自己创建的sequential node的后缀序号排在第一个时，就认为自己获得了锁；否则的话，就认为自己没有获得锁。

这时肯定是有其他并发的并且是没有断开的client/线程先创建了node。

zookeeper在Dubbo中扮演了一个什么角色，起到了什么作用

zookeeper是Dubbo服务的注册中心，provider提供服务后注册在zookeeper上， consumer可以接口和版本信息从zookeeper中获取相应的服务，服务对于consumer来说完全透明，根本感知不到该接口是来自本地和provider，就像引用本地的一个bean一样。

zookeeper可以实现服务的分布式，同时可以监控每个服务的状态以及调用次数情况等。

希望可以帮助到您！