vsan如何在一台esxi 5.5主机上搭建一整套VSAN集群的环境

如何在vc中查看vsan的版本

1，点击开始，设置，控制面板，添加删除程序。

2，在这里可以看到电脑安装的VC及相关程序的版本。

3，WIN10需要打开Win10设置，点击“系统”，在系统窗口，点击左侧“应用和功能”，在右侧窗口中Microsoft Visual C++相关的内容，就是VC运行库版本了。

vSphere 5.5 vSAN 见证是怎么部署的

你好， 现在的IT技术就是让人变傻，全部自动化，虚拟化。

就像存储的自动分层，再也不需要精确计算数据的热度，应该分配到哪个存储层，也不需要建立RAID。

买来盘，全部加入到池，要空间就从池子里化，够简单吧。

但有的人就是喜欢较真，非要搞明白数据究竟用到了哪几块盘，比例怎样。

这种要么就是技术控，要么就是控制狂，用现在的话就是no duo no die。

经过了几次实验，发现 vSAN 配置和使用起来确实非常简单，在 vSphere 5.5 vSAN 虚拟机存储策略(VM Storage Policy) 中，我们看到了当改变虚拟机的存储策略时，虚拟机的存储对象会使用不同的 vSAN 组件（条带、副本和见证）。

你可以选择不理不睬，但我今天就要较真一会，看看为什么要这样。

当然最简单的方法就是找来 vSAN 关于这一段的源代码或设计方案读一读就明白了，可惜我没有这个渠道，那就自己动手，上网找，搭环境测试了。

主要参考这2篇文章： VSAN Part 21 – What is a witness? 及其 中文翻译 VMware Virtual SAN: Witness Component Deployment Logic 及其 中文翻译 先上一段来自官网对于见证和副本的定义： 见证(witness)和副本 副本是为虚拟机指定可用性功能时创建的虚拟机存储对象实例的备份。

可用性功能决定了可创建的副本数量。

在集群中出现主机、网络或磁盘故障时，此机制可使虚拟机使用一组完整的对象继续运行。

见证是每个存储对象的一部分。

它们不包含数据，而仅包含元数据。

，其目的是在必须做出可用性决策时（在Virtual SAN 群集中）充当打破平局组件，以避免裂脑行为并满足仲裁要求。

见证在 VSAN 数据存储上占用大约 2 MB 的空间用于存储元数据。

注意 ：要使某个对象在 VSAN 中可访问，则其 50% 以上的组成部分必须可供访问。

默认存储策略Witness部署逻辑: 允许的故障数目 (FTT) =1 VSAN Part 21 – What is a witness? 给了一个简单的例子。

我们以 VSAN 数据存储上部署的一个简单的虚拟机为例。

即使我们没有创建策略，而是使用了默认策略，vSAN 数据存储上部署的这台虚拟机的磁盘 ( VMDK ) 也会获得允许的故障数目 (FTT) =1 的功能。

这意味着这个 VMDK 将创建两个副本，每个副本放置在不同的 ESXi 主机上，使得数据在群集出现单个故障时仍有一个副本可用。

这其中的每个副本都是 VM DK 存储对象的一个组件。

下图是 vSphere 5.5 vSAN 简介及配置 中的默认存储策略： 现在有两个问题需要提出： 第一，VSAN 如何处理裂脑/网络分区？ 第二，我们如何才能确保主机/磁盘发生故障时这个 VM DK 对象有 50% 的组件可用？ 这就是见证的角色。

除了创建 VM DK的两个副本，系统也会创建对象的第三个组件。

这就是见证磁盘。

它是纯粹的元数据，只占用 2MB 的磁盘空间。

现在，在一个 3 节点群集中，如果 VMDK 的副本放置在 host1 和 host2 上，则见证会被放置在 host3 上。

这意味着，如果任何一个主机发生故障，我们仍有一份数据副本可用，我们仍有超过 50% 的组件可用。

如果出现网络分区或裂脑，一侧分区有 2 个节点，另一侧分区有一个节点，那么仍然有一个分区会拥有超过 50% 的组件。

下图所示为虚拟机上的一个VMDK（硬盘 1），该 VMDK 的允许的故障数目被设置为 1。

组件共有 3 个: 2 个副本，1 个见证。

所有 3 个组件都放置在群集的不同的主机上。

这就是一个最简单的示例。

如果使用 StripeWidth 功能或将 FFT 设置为大于 1 的值，许多人会发现系统创建了大量额外的见证。

需要记住的一点是，虚拟机的虚拟机存储策略中功能要求不同，见证的数量也会发生改变，见证的分布也会不同。

怎么个不同法呢？ 请看下文分晓。

自定义存储策略部署逻辑：允许故障数目 (FTT) =? 我们来看看 VMware Virtual SAN: Witness Component Deployment Logic 。

Virtual SAN 见证组件以三种方式进行定义和部署: Primary Witness初级见证 Secondary Witness次级见证 Tiebreaker Witness打破平局见证 Primary Witnesses:Need at least (2 * FTT) + 1 nodes in a cluster to be able to tolerate FTT number of node / disk failures. If after placing all the ponents, we do not have the required number of nodes in the configuration, primary witnesses are on exclusive nodes until there are (2*FTT)+ 1 nodes in the configuration. 至少需要群集中 (2 * FTT) + 1 节点以便能容许 FTT 节点/磁盘故障数。

如果安装了所有数据组件后，配置没有获得所需的节点数，则初级见证将位于独占节点直到配置中有 (2*FTT)+ 1 个节点。

什么意思呢？如果是2*FTT个节点的话，即虚拟机组件都保存了2个副本，如果发生脑裂的情况怎么办？到底有哪个副本来提供服务呢？需要一个第三方的仲裁机构来决定。

Secondary Witnesses:Secondary witnesses are created to make sure that every node has equal voting power towards quorum. This is important because every node failure should affect the quorum equally. Secondary witnesses are added so that every node gets equal number ponent, this includes the nodes that only hold primary witnesses. So the total count of ponent + witnesses on each node are equalized in this step. 创建次级见证的目的是确保每个节点在仲裁时有相同的投票权。

这点很重要，因为每个节点故障都应对仲裁产生相同的影响。

次级见证的添加应使每个节点都获得相同的组件数，包括仅拥有初级见证的节点。

因此，这一步骤使得每个节点上的数据组件 + 见证组件的总数相同。

Tiebreaker witness:If after adding primary and secondary witnesses we end up with even number of ponents (data + witnesses) in the configuration then we add one tiebreaker witnesses to make the ponent count odd. 如果在添加初级见证和次级见证之后，配置中的组件总数是偶数（数据 + 见证数），那么，我们需要添加一个打破平局见证，使组件总数变为奇数。

实例分析 上面提到的默认存储策略，5台主机，只部署了 1 个见证，为什么？ 初级见证：数据组件分布在 2 个节点上，没有大于 2*FTT+1，因此，我们需要一个初级见证。

次级见证：因为每个参与配置的节点都只有一个组件，因此，我们无需次级见证来平衡投票数。

打破平局见证：因为配置中的组件总数是 3，因此，我们不需要一个打破平局见证。

2． vSphere 5.5 vSAN 虚拟机存储策略(VM Storage Policy) 中第一次应用了虚拟机存储策略，5台主机，FTT=1，Stripe=3，部署了3个见证，为什么？ 这里我们看到部分 RAID 0 条带在相同节点上，说实在的我也不知道为什么要这样。

而且还有一台主机根本就没有参与。

我在想，如果有6台主机，那应该数据组件会用到6台主机。

我们来看看数据组件的分布情况： 2个数据组件在主机esx-01a上面 2个数据组件在主机esx-03a上面 1个数据组件在主机esx-04a上面 1个数据组件在主机esx-02a上面 我们来看看见证组件的计算方法： 初级见证：数据组件分布在 4 个节点间，大于 1*FTT+1。

因此，不需要初级见证。

次级见证：因为两个节点每个都有 2 个投票，但有 2 个节点每个都只有一个投票，我们需要在下列节点上添加一个投票（见证）：esx-04a，esx-02a。

打破平局见证：添加了上述两个见证后，配置中的组件总数为 8（6 数据 + 2 见证），我们需要一个打破平局见证，即第三个见证。

在这个例子中，部署到了节点esx-01a。

3． vSphere 5.5 vSAN 虚拟机存储策略(VM Storage Policy) 中我修改了虚拟机存储策略，5台主机，FTT=1，Stripe=4，部署了1个见证，为什么？ 这里我们看到部分 RAID 0 条带在相同节点上： 2个数据组件在主机esx-01a上面 2个数据组件在主机esx-03a上面 2个数据组件在主机esx-04a上面 2个数据组件在主机esx-02a上面 我们来看看见证组件的计算方法： 初级见证：数据组件分布在 4 个节点间，大于 1*FTT+1。

因此，不需要初级见证。

次级见证：因为参与部署的每个节点每个都有 2 个投票，因此，我们无需次级见证来平衡投票数。

。

打破平局见证：配置中的组件总数为 8（8 数据 + 0 见证），我们需要一个打破平局见证，即第三个见证。

在这个例子中，部署到了节点esx-04a。

至此，你是不是完全明白了呢？ 为了验证算法，我又重新删掉集群，打开vSAN，我们来看看新的部署情况。

还是一样的存储策略，5台主机，FTT=1，Stripe=4，这次却部署了3个见证，为什么？自己想吧。

如何在一台ESXi主机上搭建一整套VSAN集群的环境

接下去，我就来介绍下如何在一台ESXi主机上配置3个ESXi并组建一个VSAN集群。

昨天，我介绍了如何在一台ESXi主机上安装ESXi的客户机（当然这些ESXi本身也是主机哦，还可以在其上部署虚拟机，虽然性能会比较差）。

因此，首先就是根据上面所说的硬件条件创建3个虚拟机用来安装ESXi5.5u1。

我的配置是每一台主机都包括： 4个CPU（最少2个） 8GB内存 3个硬盘，一个4GB（用来装系统）、一个40GB（模拟成SSD）、一个400GB（提供给vsan存放数据） 2个网络适配器，一个在子网192.168.10.x用于管理和虚拟机网络，一个在子网192.168.20.x，用于VSAN VMkernel 虚拟机版本10 注意，为了让ESXi客户机有2个网络适配器，在ESXi主机（本例中起名为esxi01）上的网络配置至少要配置2个不同的端口组，我将这2个端口组分别配置在了2个不同的vSwitch上： vSwitch0，默认vSwitch，配置有管理网络(VMKernel)和VM Network 10端口组 vSwitch2，新增的vSwitch，配置有VM Network 20端口组 此外，我还因为有iSCSI存储，因此配置了2个iSCSI的VMKernel分别在vSwitch1和vSwitch2上。

vSwitch0和vSwitch2的配置截图如下： 这里有一点要说明的是，如果仅为了vsan网络的通信，vSwitch2可以没有上联的物理适配器，我的截图里面配置了上联的物理适配器是因为我还有一个iSCSI2的VMkernel需要使用。

安装3台虚拟机的过程就不赘述了，只要你按照我昨天的文章来操作，就可以顺利完成。

安装完之后，照例是配置静态IP地址、FQDN主机名、禁用IPv6、DNS并开启SSH和ESXi SHELL以备之后在控制台输入命令行使用。

需要强调一次的是，在你的实验网络中，需要配置好一台域控制器，它同时也是DNS服务器，并事先在DNS服务器里面添加好静态的ESXi主机的DNS项。

在我的实验环境中，它们是： esxi55u01.home.lab – 192.168.10.31 esxi55u02.home.lab – 192.168.10.32 esxi55u03.home.lab – 192.168.10.33 请在黄色DCUI界面（安装完ESXi主机的初次配置界面）里面测试一下网络，如果主机域名也能顺利解析，那就说明网络配置都完备了。

DNS对于正确配置VMware集群来说非常重要。

接下去就是用vSphere Web客户端再次连接到vCenter（我的是vCSA），把这几台新安装的ESXi主机添加进来，添加的时候要用FQDN，不能是IP地址。

现在让我们来看一看这些ESXi主机的磁盘情况（左边窗格点选主机，在右边窗格分别选择管理，存储器和存储设备，如图所示），可以看见置备的3个磁盘都是非SSD。

下面要克服的问题是怎样欺骗ESXi，让它以为其中一块40GB的磁盘是SSD，这样才能满足VSAN配置的必要前提条件。

让我们进入到这台vSphere ESXi主机的管理控制台界面，在命令行里面输入下面的2条命令，就可以完成： # esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device mpx.vmhba1:C0:T1:L0 --option=enable_ssd # esxcli storage core claiming reclaim -d mpx.vmhba1:C0:T1:L0 注意，这里的设备ID要填写你所想要变成SSD的那个磁盘，设备ID就是长的像mpx.vmhba1.C0:T1:L0的那个。

输入命令后，如果没有填错，是不返回结果的。

回到vSphere Web客户端，刷新一下，你就会发现那个40GB的磁盘的类型变成SSD了。

关于VSAN的配置，LeoXiao同学写的很不错，就不多罗嗦了。

你可以参考他的文章。

我借个图说明下顺序： 多说一句，为了测试NIOC功能，而这个功能只有在分布式交换机上才有，所以，建议VSAN集群配置的时候先配置好分布式交换机，并且把VSAN专用的VMkernel建在分布式交换机上。

最后，给大家看一下，要搭建一个VSAN集群的测试环境，在一台主机上至少要配置并开启5台虚拟机——包括1台域控制器，1台vCenter和3台ESXi主机（每台都配了8GB内存哦）。

虽然还是有一些网络传输上不稳定的问题，不过vsan数据存储好歹是建起来了。

VSAN(Virtual Fabric)技术是什么？

VSAN是Cisco的SAN交换机上面使用的一种虚拟化技术，把一个物理交换机虚拟成多个逻辑交换机。

- VSAN类似于以太网里面的VLAN，每个VSAN都有自己的fabric service。

- 同一VSAN的设备可以互相通信，不同VSAN不能互相通信。

- 每个交换机最多可以支持256个VSAN。

Vsan 1是默认vsan，vsan 4094是隔离vsan ，用户可用的vsan id是2到4093。

- 所有交换机端口默认在vsan 1；当有端口从用户自定义vsan删除后，该端口会自动分配到vsan 4094，vsan 4094的设备都是disabled。

参考链接：/docs/DOC-16080

如何在一台esxi 5.5主机上搭建一整套VSAN集群的环境

虚拟机用来安装ESXi5.5u1。

我的配置是每一台主机都包括： 4个CPU（最少2个） 8GB内存 3个硬盘，一个4GB（用来装系统）、一个40GB（模拟成SSD）、一个400GB（提供给vsan存放数据） 2个网络适配器，一个在子网192.168.10.x用于管理和虚拟机网络，一个在子网192.168.20.x，用于VSAN VMkernel 虚拟机版本10 注意，为了让ESXi客户机有2个网络适配器，在ESXi主机（本例中起名为esxi01）上的网络配置至少要配置2个不同的端口组，我将这2个端口组分别配置在了2个不同的vSwitch上： vSwitch0，默认vSwitch，配置有管理网络(VMKernel)和VM Network 10端口组 vSwitch2，新增的vSwitch，配置有VM Network 20端口组 此外，我还因为有iSCSI存储，因此配置了2个iSCSI的VMKernel分别在vSwitch1和vSwitch2上。

vSwitch0和vSwitch2的配置截图如下： 这里有一点要说明的是，如果仅为了vsan网络的通信，vSwitch2可以没有上联的物理适配器，我的截图里面配置了上联的物理适配器是因为我还有一个iSCSI2的VMkernel需要使用。

安装3台虚拟机的过程就不赘述了，只要你按照我昨天的文章来操作，就可以顺利完成。

安装完之后，照例是配置静态IP地址、FQDN主机名、禁用IPv6、DNS并开启SSH和ESXi SHELL以备之后在控制台输入命令行使用。

需要强调一次的是，在你的实验网络中，需要配置好一台域控制器，它同时也是DNS服务器，并事先在DNS服务器里面添加好静态的ESXi主机的DNS项。

在我的实验环境中，它们是： esxi55u01.home.lab – 192.168.10.31 esxi55u02.home.lab – 192.168.10.32 esxi55u03.home.lab – 192.168.10.33 请在黄色DCUI界面（安装完ESXi主机的初次配置界面）里面测试一下网络，如果主机域名也能顺利解析，那就说明网络配置都完备了。

DNS对于正确配置VMware集群来说非常重要。

接下去就是用vSphere Web客户端再次连接到vCenter（我的是vCSA），把这几台新安装的ESXi主机添加进来，添加的时候要用FQDN，不能是IP地址。

现在让我们来看一看这些ESXi主机的磁盘情况（左边窗格点选主机，在右边窗格分别选择管理，存储器和存储设备，如图所示），可以看见置备的3个磁盘都是非SSD。

下面要克服的问题是怎样欺骗ESXi，让它以为其中一块40GB的磁盘是SSD，这样才能满足VSAN配置的必要前提条件。

让我们进入到这台vSphere ESXi主机的管理控制台界面，在命令行里面输入下面的2条命令，就可以完成： # esxcli storage nmp satp rule add --satp VMW_SATP_LOCAL --device mpx.vmhba1:C0:T1:L0 --option=enable_ssd # esxcli storage core claiming reclaim -d mpx.vmhba1:C0:T1:L0 注意，这里的设备ID要填写你所想要变成SSD的那个磁盘，设备ID就是长的像mpx.vmhba1.C0:T1:L0的那个。

输入命令后，如果没有填错，是不返回结果的。

回到vSphere Web客户端，刷新一下，你就会发现那个40GB的磁盘的类型变成SSD了。

关于VSAN的配置，LeoXiao同学写的很不错，就不多罗嗦了。

你可以参考他的文章。

我借个图说明下顺序： 多说一句，为了测试NIOC功能，而这个功能只有在分布式交换机上才有，所以，建议VSAN集群配置的时候先配置好分布式交换机，并且把VSAN专用的VMkernel建在分布式交换机上。

最后，给大家看一下，要搭建一个VSAN集群的测试环境，在一台主机上至少要配置并开启5台虚拟机——包括1台域控制器，1台vCenter和3台ESXi主机（每台都配了8GB内存哦）。

虽然还是有一些网络传输上不稳定的问题，不过vsan数据存储好歹是建起来了。