适配器网卡的功能
网卡的功能 时间:2021-03-01 阅读:(
)
iSCSISAN配置指南ESX4.
1ESXi4.
1vCenterServer4.
1在本文档被更新的版本替代之前,本文档支持列出的每个产品的版本和所有后续版本.
要查看本文档的更新版本,请访问http://www.
vmware.
com/cn/support/pubs.
ZH_CN-000288-00iSCSISAN配置指南2VMware,Inc.
最新的技术文档可以从VMware网站下载:http://www.
vmware.
com/cn/support/pubs/VMware网站还提供最近的产品更新信息.
您如果对本文档有任何意见或建议,请把反馈信息提交至:docfeedback@vmware.
com版权所有2009,2010VMware,Inc.
保留所有权利.
本产品受美国和国际版权及知识产权法的保护.
VMware产品受一项或多项专利保护,有关专利详情,请访问http://www.
vmware.
com/go/patents-cn.
VMware是VMware,Inc.
在美国和/或其他法律辖区的注册商标或商标.
此处提到的所有其他商标和名称分别是其各自公司的商标.
VMware,Inc.
3401HillviewAve.
PaloAlto,CA94304www.
vmware.
com北京办公室北京市海淀区科学院南路2号融科资讯中心C座南8层www.
vmware.
com/cn上海办公室上海市浦东新区浦东南路999号新梅联合广场23楼www.
vmware.
com/cn广州办公室广州市天河北路233号中信广场7401室www.
vmware.
com/cn目录关于本文档51将ESX/ESXi与iSCSI存储区域网络配合使用7了解虚拟化7iSCSISAN概念8将ESX/ESXi与SAN配合使用概述12将SAN存储器与ESX/ESXi配合使用的细节13了解VMFS数据存储14决定LUN的大小和数目15虚拟机如何访问SAN上的数据17了解多路径和故障切换17选择虚拟机位置22针对服务器故障的设计22LUN的显示与重新扫描232配置iSCSI启动器和存储器25ESX/ESXiiSCSISAN要求25ESX/ESXiiSCSISAN限制26设置LUN分配26网络配置和身份验证26设置独立硬件iSCSI适配器27设置和配置从属硬件iSCSI适配器28设置和配置软件iSCSI适配器30软件iSCSI和从属硬件iSCSI的网络配置31将iSCSI端口绑定到iSCSI适配器34将巨帧与iSCSI配合使用35为软件和从属硬件iSCSI启用巨帧36配置iSCSI启动器的发现地址37配置iSCSI适配器的CHAP参数38配置iSCSI的其他参数41iSCSI会话管理42添加iSCSI存储器443为ESX/ESXi修改SAN存储系统45测试ESX/ESXiSAN配置45iSCSISAN存储系统的常规注意事项46EMCCLARiiON存储系统46EMCSymmetrix存储系统47使HPStorageWorksMSA1510i能够与ESX/ESXi通信47HPStorageWorksEVA存储系统48VMware,Inc.
3NetApp存储系统48EqualLogic存储系统51LeftHandNetworksSAN/iQ存储系统51DellPowerVaultMD3000i存储系统51vApps中的iSCSI目标514从iSCSISAN引导53关于从iSCSISAN引导的常规建议53准备iSCSISAN54将ESX主机配置为从iSCSISAN引导54iBFTiSCSI引导概览55收集ESXi主机的诊断信息605管理使用SAN存储器的ESX/ESXi系统63查看存储适配器信息63查看存储设备信息64查看数据存储信息66解决存储显示问题67路径扫描和声明71共享诊断分区76避免和解决SAN问题76优化SAN存储器性能76解决性能问题79SAN存储器备份注意事项82管理重复VMFS数据存储84存储硬件加速86AiSCSISAN配置对照表89BVMwarevSphere命令行界面91resxtop命令91vicfg-iscsi命令91vicfg-mpath命令91esxclicorestorageclaimrule命令91vmkping命令92C管理多路径模块和硬件加速插件93管理存储路径和多路径插件93管理硬件加速筛选器和插件99esxclicorestorageclaimrule选项101索引103iSCSISAN配置指南4VMware,Inc.
关于本文档《iSCSISAN配置指南》说明如何将VMwareESX和VMwareESXi系统与iSCSI存储区域网络(SAN)配合使用.
本手册包括概念性的背景信息以及ESX、ESXi和VMwarevCenterServer的安装要求.
目标读者本手册的目标读者为熟悉虚拟机技术数据中心操作,且具有丰富经验的Windows或Linux系统管理员.
VMware技术出版物词汇表VMware技术出版物提供了一个词汇表,其中包含一些您可能不熟悉的术语.
有关VMware技术文档中所使用的术语的定义,请访问http://www.
vmware.
com/support/pubs.
文档反馈VMware欢迎您提出宝贵建议,以便改进我们的文档.
如有意见,请将反馈发送到docfeedback@vmware.
com.
VMwarevSphere文档VMwarevSphere文档包括VMwarevCenterServer和ESX/ESXi文档集.
技术支持和教育资源您可以获取以下技术支持资源.
有关本文档和其他文档的最新版本,请访问:http://www.
vmware.
com/support/pubs.
在线支持和电话支持要通过在线支持提交技术支持请求、查看产品和合同信息以及注册您的产品,请访问http://www.
vmware.
com/support.
客户只要拥有相应的支持合同,就可以通过电话支持,尽快获得对优先级高的问题的答复.
请访问http://www.
vmware.
com/support/phone_support.
html.
支持服务项目要了解VMware支持服务项目如何帮助您满足业务需求,请访问http://www.
vmware.
com/support/services.
VMware专业服务VMware教育服务课程提供了大量实践操作环境、案例研究示例,以及用作作业参考工具的课程材料.
这些课程可以通过现场指导、教室授课的方式学习,也可以通过在线直播的方式学习.
关于现场试点项目及实施的最佳实践,VMware咨询服务可提供多种服务,协助您评估、计划、构建和管理虚拟环境.
要了解有关教育课程、认证计划和咨询服务的信息,请访问http://www.
vmware.
com/services.
VMware,Inc.
5iSCSISAN配置指南6VMware,Inc.
将ESX/ESXi与iSCSI存储区域网络配合使用1您可以将ESX/ESXi与存储区域网络(SAN)配合使用,SAN是将计算机系统连接至高性能存储子系统的专用高速网络.
将ESX/ESXi与SAN配合使用可提供存储器整合,提高可靠性,并在灾难恢复方面提供帮助.
要将ESX/ESXi与SAN有效配合使用,您必须掌握ESX/ESXi系统与SAN概念的相关应用知识.
此外,将ESX/ESXi主机设置为使用InternetSCSI(iSCSI)SAN存储系统时,必须了解存在的若干特殊注意事项.
本章讨论了以下主题:n第7页,"了解虚拟化"n第8页,"iSCSISAN概念"n第12页,"将ESX/ESXi与SAN配合使用概述"n第13页,"将SAN存储器与ESX/ESXi配合使用的细节"n第14页,"了解VMFS数据存储"n第15页,"决定LUN的大小和数目"n第17页,"虚拟机如何访问SAN上的数据"n第17页,"了解多路径和故障切换"n第22页,"选择虚拟机位置"n第22页,"针对服务器故障的设计"n第23页,"LUN的显示与重新扫描"了解虚拟化VMware虚拟化层在各款VMware桌面产品(如VMwareWorkstation)及服务器产品(如VMwareESX/ESXi)之间是通用的.
该层为应用程序工作负载的开发、测试、交付及支持提供了一致平台.
虚拟化层构成方式如下:n每台虚拟机都运行各自的操作系统(客户机操作系统)和应用程序.
n虚拟化层提供映射至特定物理设备份额的虚拟设备.
这些设备包括虚拟化的CPU、内存、I/O总线、网络接口、存储适配器和设备、人机接口设备及BIOS.
网络虚拟化虚拟化层确保每台虚拟机与其他虚拟机相隔离.
虚拟机仅可通过用于连接独立物理机的类似网络机制相互通信.
这种隔离方式使管理员可以构建内部防火墙或其他网络隔离环境,从而使得一些虚拟机可与外部连接,而另一些虚拟机只能通过虚拟网络与其他虚拟机连接.
VMware,Inc.
7存储器虚拟化ESX/ESXi提供主机级别的存储器虚拟化,即采用逻辑方式从虚拟机中抽象物理存储器层.
ESX/ESXi虚拟机使用虚拟磁盘来存储其操作系统、程序文件,以及与其活动相关联的其他数据.
虚拟磁盘是一个大型物理文件或一组文件,可以像任何其他文件一样轻松地对其进行复制、移动、存档和备份.
您可以配置具有多个虚拟磁盘的虚拟机.
要访问虚拟磁盘,虚拟机需使用虚拟SCSI控制器.
这些虚拟控制器包括BusLogic并行、LSILogic并行、LSILogicSAS和VMware准虚拟.
虚拟机只能查看和访问以上类型的SCSI控制器.
虚拟机可通过上述某一虚拟SCSI控制器访问的每个虚拟磁盘,位于VMware虚拟机文件系统(VMFS)数据存储上、基于NFS的数据存储上或裸磁盘上.
从虚拟机的角度而言,每个虚拟磁盘看上去都好像是与SCSI控制器连接的SCSI驱动器.
实际的物理磁盘设备是通过并行SCSI、iSCSI、网络还是主机上的光纤通道适配器来访问,这对客户机操作系统以及虚拟机上运行的应用程序而言是透明的.
图1-1概述了存储器虚拟化.
图中所示为使用VMFS的存储器和使用裸设备映射的存储器.
该图同时演示了如何通过iSCSIHBA或使用iSCSI启动器软件的通用网卡来访问iSCSI存储器.
图1-1iSCSISAN存储器虚拟化VMFSVMware虚拟化层.
vmdkLUN1LUN2LUN5虚拟机SCSI控制器虚拟机SCSI控制器虚拟磁盘虚拟磁盘LANLAN硬件iSCSI启动器(HBA)以太网网卡软件iSCSI启动器ESX/ESXiRDMiSCSISAN概念如果您是ESX/ESXi管理员,并计划设置ESX/ESXi主机与SAN配合使用,那么您必须掌握SAN概念的相关应用知识.
在某些出版资料中或Internet上可以找到SAN的相关信息.
iSCSISAN在计算机系统或主机服务器与高性能存储子系统之间使用以太网连接.
SAN组件包括主机服务器中的iSCSI主机总线适配器(HBA)或网络接口卡(NIC)、传输存储流量的交换机和路由器、电缆、存储处理器(SP)及存储磁盘系统.
iSCSISAN使用客户端-服务器架构.
客户端(也称为iSCSI启动器)在主机上操作.
它通过发出SCSI命令并将封装到iSCSI协议中的这些命令传输到服务器来启动iSCSI会话.
服务器也称为iSCSI目标.
iSCSI目标表示网络上的物理存储系统.
它也可以由虚拟iSCSISAN(例如,正在虚拟机中运行的iSCSI目标仿真器)提供.
iSCSI目标通过传输必需的iSCSI数据响应启动器的命令.
iSCSISAN配置指南8VMware,Inc.
iSCSISAN中的端口iSCSISAN上单个可发现的实体(如启动器或目标)表示一个iSCSI节点.
每个节点都有一个或多个将其连接到SAN的端口.
iSCSI端口是iSCSI会话的端点.
每个端口可通过多种方式进行标识.
IP地址每个iSCSI节点都可具有一个与其相关联的IP地址,以便网络上的路由和交换设备可以在服务器与存储器之间建立连接.
此地址就像为了访问公司的网络或Internet而分配给计算机的IP地址一样.
iSCSI名称用于标识节点的全球唯一名称.
iSCSI使用iSCSI限定名(IQN)、扩展唯一标识符(EUI)和网络地址授权(NAA)格式.
默认情况下,ESX/ESXi为iSCSI启动器生成唯一iSCSI名称,例如,iqn.
1998-01.
com.
vmware:iscsitestox-68158ef2.
通常,无需更改默认值;但如果这样做,请确保输入的新iSCSI名称是全球唯一的.
iSCSI别名即一种替代iSCSI名称使用的更易于管理的iSCSI设备或端口名称.
iSCSI别名不是唯一的,它只是一个与端口关联的友好名称.
iSCSI命名约定iSCSI使用一种特殊、唯一的名称来标识iSCSI节点(目标或启动器).
此名称类似于与光纤通道设备相关联的全球名称(WWN),可作为一种通用的节点识别方式使用.
iSCSI名称通过两种不同方式格式化.
最常见的是IQN格式.
有关iSCSI命名要求和字符串配置文件的更多详细信息,请参见IETF网站上的RFC3721、RFC3722和RFC3980.
iSCSI限定名(IQN)格式IQN格式采用iqn.
yyyy-mm.
naming-authority:uniquename的形式,其中:nyyyy-mm是命名机构成立的年份和月份.
nnaming-authority通常是命名机构的Internet域名的反向语法.
例如,iscsi.
vmware.
com命名机构的iSCSI限定名形式可能是iqn.
1998-01.
com.
vmware.
iscsi.
此名称表示vmware.
com域名于1998年1月注册,iscsi是一个由vmware.
com维护的子域.
nuniquename是希望使用的任何名称,如主机的名称.
命名机构必须确保在冒号后面分配的任何名称都是唯一的,例如:niqn.
1998-01.
com.
vmware.
iscsi:name1niqn.
1998-01.
com.
vmware.
iscsi:name2niqn.
1998-01.
com.
vmware.
iscsi:name999企业唯一标识符(EUI)格式EUI格式采用eui.
16hexdigits的形式.
例如,eui.
0123456789ABCDEF.
16位十六进制数字是IEEEEUI(扩展唯一标识符)格式的64位数的文本表示形式.
前24位是IEEE向特定公司注册的公司ID.
后40位由持有该公司ID的实体分配,并且必须是唯一的.
章1将ESX/ESXi与iSCSI存储区域网络配合使用VMware,Inc.
9iSCSI启动器要访问iSCSI目标,主机需要使用iSCSI启动器.
启动器在主机与iSCSI目标之间传输封装到iSCSI协议中的SCSI请求和响应.
VMware支持各种类型的启动器.
软件iSCSI适配器软件iSCSI适配器是VMkernel中内置的VMware代码.
借助于该适配器,主机可通过标准网络适配器连接到iSCSI存储设备.
软件iSCSI适配器可在与网络适配器进行通信的过程中负责iSCSI处理过程.
借助软件iSCSI适配器,您无需购买专用硬件便可使用iSCSI技术.
硬件iSCSI适配器硬件iSCSI适配器是第三方适配器,可从主机卸载iSCSI和网络处理.
硬件iSCSI适配器分为几种类别.
从属硬件iSCSI适配器基于VMware网络以及由VMware提供的iSCSI配置和管理界面.
这种类型的适配器可以是一张为同一端口提供标准网络适配器和iSCSI卸载功能的卡.
iSCSI卸载功能取决于主机获取IP、MAC和其他用于iSCSI会话的参数的网络配置.
iSCSI许可的Broadcom5709网卡就是一种从属适配器.
独立硬件iSCSI适配器执行自己的网络及iSCSI配置和管理界面.
只提供iSCSI卸载功能,或者提供iSCSI卸载功能和标准网卡功能的卡就是一种独立硬件iSCSI适配器.
iSCSI卸载功能具有独立的配置管理,可分配IP、MAC和其他用于iSCSI会话的参数.
QLogicQLA4052适配器就是一种独立适配器.
硬件iSCSI适配器可能需要获得许可.
否则,将不会出现在vSphereClient或vSphereCLI中.
有关许可信息,请联系供应商.
目标与LUN表示形式比较在ESX/ESXi环境中,术语"目标"标识主机可以访问的单个存储单元.
术语"存储设备"和"LUN"描述代表目标上的存储空间的逻辑卷.
通常,术语"设备"和"LUN"在ESX/ESXi环境中表示通过存储器目标向主机显示的SCSI卷,并且该卷可以格式化.
不同的iSCSI存储供应商通过不同方式向服务器呈现存储器.
有些供应商在单个目标上呈现多个LUN,而有些供应商则向多个目标各呈现一个LUN.
虽然ESX/ESXi使用存储器的方式相似,但通过管理工具呈现信息的方式却不相同.
图1-2目标与LUN表示形式比较存储阵列目标LUNLUNLUN存储阵列目标目标目标LUNLUNLUN这些配置中的每一个配置都有三个LUN可用.
在第一种情况中,ESX/ESXi可以检测到一个目标,但该目标具有三个可用LUN.
每个LUN均表示单独的存储卷.
在第二种情况中,ESX/ESXi可以检测到三个不同目标,每个目标都拥有一个LUN.
基于ESX/ESXi的iSCSI启动器建立与各目标的连接.
具有包含多个LUN的单个目标的存储系统通过一个连接向所有LUN输送流量.
在具有三个目标(每个均有一个LUN)的系统中,主机分别连接至三个LUN.
当您尝试从具有多个iSCSIHBA的ESX/ESXi主机(其中一个目标的流量可以设置为一个特定的HBA,而另一个目标的流量可以使用其他HBA)聚合多个连接上的存储流量时,此信息很有用.
iSCSISAN配置指南10VMware,Inc.
多路径和路径故障切换在主机服务器与存储器之间传输数据时,SAN将使用一种叫做多路径的技术.
使用多路径,您可以通过多条物理路径从ESX/ESXi主机到达存储系统上的LUN.
通常,从主机到LUN的单一路径包括iSCSI适配器或网卡、交换机端口、连接电缆和存储控制器端口.
如果路径中的任何组件出现故障,主机将选择另一条可用路径用于I/O.
检测故障路径并切换到另一条路径的过程称为路径故障切换.
存储系统类型ESX/ESXi可支持不同的存储系统和阵列.
主机支持的存储类型包括主动-主动、主动-被动和ALUA合规.
主动-主动存储系统允许通过所有可用的存储器端口同时访问多个LUN,而不会明显降低性能.
所有路径始终保持活动状态,除非路径发生故障.
主动-被动存储系统存储处理器在其中主动提供对给定LUN的访问权限的系统.
其他处理器用作备用LUN,并且可以主动提供对其他LUNI/O的访问权限.
只能向指定LUN的活动端口成功发送I/O.
如果通过主动存储器端口访问失败,则其中一个被动存储处理器可通过服务器对其进行访问而激活.
非对称存储系统支持非对称逻辑单元访问(ALUA).
ALUA合规存储系统对每个端口提供不同级别的访问.
ALUA允许主机确定目标端口的状态,并区分路径的优先级.
主机会将某些活动路径用作主路径,其他用作辅助路径.
虚拟端口存储系统允许通过一个虚拟端口访问所有可用的LUN.
这些是主动-主动存储设备,但通过单个端口隐藏其多个连接.
ESX/ESXi多路径无法检测与存储器的多个连接.
这些存储系统以透明的方式处理端口故障切换和连接平衡.
这通常称为透明故障切换.
发现、身份验证和访问控制可以使用多种机制发现存储器并限制对它的访问.
必须配置主机和iSCSI存储系统以支持存储访问控制策略.
发现发现会话是iSCSI协议的一部分,它返回可在iSCSI存储系统上访问的一组目标.
ESX/ESXi上提供的两类发现为:动态和静态.
动态发现从iSCSI存储系统获取可访问目标的列表,而静态发现仅可按目标名称尝试访问一个特定目标.
身份验证iSCSI存储系统通过名称和密匙对来对启动器进行身份验证.
ESX/ESXi支持CHAP协议,VMware建议将此协议用于SAN实施.
要使用CHAP身份验证,ESX/ESXi主机和iSCSI存储系统必须启用CHAP,并具有公共凭据.
章1将ESX/ESXi与iSCSI存储区域网络配合使用VMware,Inc.
11访问控制访问控制是在iSCSI存储系统中设置的策略.
大多数实施都支持以下三种访问控制类型的一种或多种:n通过启动器名称n通过IP地址n通过CHAP协议仅符合所有规则的启动器才可以访问iSCSI卷.
错误纠正为保护iSCSI标头和数据的完整性,iSCSI协议定义了错误纠正方法,这些方法称为标头摘要和数据摘要.
这两类参数默认情况下为禁用状态,但可以启用它们.
这些摘要分别适用于iSCSI启动器和目标之间双向传输的标头和SCSI数据.
除其他网络层(例如TCP和以太网)提供的完整性检查外,标头和数据摘要还检查端到端、非加密数据的完整性.
它们检查完整的通信路径,包括可更改网络级流量的所有因素,例如路由器、交换机和代理.
建立iSCSI连接之后,将协商摘要的存在和类型.
启动器和目标就摘要配置达成一致后,此摘要必须用于它们之间的所有流量.
启用标头和数据摘要要求对启动器和目标进行额外处理,并可影响吞吐量和CPU使用性能.
注意使用IntelNehalem处理器的系统会卸载iSCSI摘要计算功能,从而减少对性能的影响.
将ESX/ESXi与SAN配合使用概述将ESX/ESXi与SAN配合使用可提高灵活性、效率以及可靠性.
将ESX/ESXi与SAN配合使用还支持集中式管理、故障切换和负载平衡技术.
下面是将ESX/ESXi与SAN配合使用的优点:n您可安全地存储数据并配置多个指向存储器的路径,从而避免出现单一故障点.
n将SAN与ESX/ESXi系统配合使用可将故障恢复功能扩展到服务器.
使用SAN存储器时,所有应用程序都可在原始主机出现故障后在其他主机上立即重新启动.
n可以使用VMwarevMotion执行虚拟机的实时迁移.
n如果虚拟机的主机出现故障,可将VMwareHighAvailability(HA)与SAN结合使用,在另一台服务器上以虚拟机的最后已知状态重新启动虚拟机.
n可使用VMware容错(FT)复制两台不同主机上的受保护虚拟机.
如果首选主机出现故障,虚拟机可在辅助主机上继续不间断地运行.
n使用VMwareDistributedResourceScheduler(DRS)将虚拟机从一台主机迁移到另一台主机以实现负载平衡.
由于存储器位于共享SAN阵列,因此应用程序可继续无缝运行.
n如果使用VMwareDRS群集,请将ESX/ESXi主机置于维护模式,以便系统将所有正在运行的虚拟机迁移到其他ESX/ESXi主机.
随后便可在原始主机上执行升级或其他维护操作.
VMware虚拟机的可移植性和封装与此存储器的共享特性相辅相成.
当虚拟机位于基于SAN的存储器上时,您可以快速关闭一台服务器上的虚拟机并在另一台服务器上将其启动,或在一台服务器上将其挂起并在同一网络上的另一台服务器上恢复操作.
此功能可实现在迁移计算资源的同时保持一致的共享访问.
iSCSISAN配置指南12VMware,Inc.
ESX/ESXi和SAN用例将ESX/ESXi与SAN配合使用时,可以执行多项任务.
将ESX/ESXi与SAN配合使用对于以下任务非常有效:零停机时间维护在执行ESX/ESXi主机或基础结构维护时,使用VMwareDRS或vMotion将虚拟机迁移至其他服务器.
如果共享存储器位于SAN上,您无需中断虚拟机的用户服务便可执行维护.
负载平衡使用vMotion或VMwareDRS将虚拟机迁移至其他主机以实现负载平衡.
如果共享存储器位于SAN上,您无需中断虚拟机的用户服务便可执行负载平衡.
存储器整合与存储器布局的简化如果使用多台主机,且每台主机都运行多个虚拟机,那么当主机上的存储器不再够用时将需要使用外部存储器.
选择SAN作为外部存储器可使系统架构更为简单,同时还有其他优点.
先预留一个较大的卷,然后根据需要将各部分分配给虚拟机.
从存储设备分配及创建卷需要一次完成.
灾难恢复将所有数据存储在SAN上为数据备份的远程存储提供了便利.
如果某一站点受到损坏,可以在远程ESX/ESXi主机上重新启动虚拟机进行恢复.
简化阵列迁移和存储升级在购买新存储系统或阵列时,使用存储vMotion执行实时自动迁移,将虚拟机磁盘文件从现有存储器迁移到新的目标,且不中断虚拟机的用户.
查看详细信息除本文档外,另有许多其他资源可帮助您配置ESX/ESXi系统与SAN配合使用:n对于大多数设置问题,请使用存储阵列供应商的文档.
存储阵列供应商可能还会提供介绍在ESX/ESXi环境中使用存储阵列的文档.
nVMware文档网站.
n《光纤通道SAN配置指南》论述了ESX/ESXi与光纤通道存储区域网络配合使用的情况.
n《VMwareI/O兼容性指南》列出了当前已认可的HBA、HBA驱动程序以及驱动程序版本.
n《VMware存储器/SAN兼容性指南》列出了当前已认可的存储阵列.
n《VMware发行说明》提供了有关已知问题和解决办法的信息.
n《VMware知识库》包含有关常见问题和解决办法的信息.
将SAN存储器与ESX/ESXi配合使用的细节将SAN与ESX/ESXi主机一起使用在很多方面有别于传统的SAN使用情况.
将SAN存储器与ESX/ESXi配合使用时,请记住以下注意事项:n您无法直接访问使用该存储器的虚拟机操作系统.
使用传统工具,只能监控VMwareESX/ESXi操作系统.
可以使用vSphereClient监控虚拟机.
n通过SAN管理工具可看到的HBA属于ESX/ESXi系统(而不是属于虚拟机).
nESX/ESXi系统可执行多路径.
章1将ESX/ESXi与iSCSI存储区域网络配合使用VMware,Inc.
13第三方管理应用程序可以将第三方管理应用程序与ESX/ESXi主机配合使用.
大多数iSCSI存储器硬件都附送存储管理软件.
在许多情况下,此软件是一个Web应用程序,可与连接到网络的任何Web浏览器配合使用.
在其他情况下,此软件通常在存储系统或单个服务器上运行,独立于使用SAN作为存储器的服务器.
此第三方管理软件可用于执行下列任务:n存储阵列管理(包括LUN创建、阵列缓存管理、LUN映射以及LUN安全).
n设置复制、检查点、快照或镜像.
如果决定在虚拟机上运行SAN管理软件,您可享有运行虚拟机的一系列优点,包括使用vMotion和VMwareHA进行故障切换.
但是,由于附加了间接级别,管理软件可能看不到SAN.
在这种情况下,可以使用RDM.
注意虚拟机能否成功运行管理软件取决于特定的存储系统.
了解VMFS数据存储ESX/ESXi使用数据存储来存储虚拟磁盘,数据存储是一种逻辑容器,它将存储器的细节针对虚拟机隐藏起来,并提供一个统一的模型来存储虚拟机文件.
在存储设备上部署的数据存储通常使用VMware虚拟机文件系统(VMFS)格式,该格式是针对存储虚拟机而优化的特殊高性能文件系统格式.
VMFS数据存储可运行多台虚拟机.
VMFS为虚拟机文件提供了分布式锁定功能,因此,在多台ESX/ESXi主机共享同一VMFS数据存储的SAN环境中,虚拟机也能安全地工作.
使用vSphereClient,可以在ESX/ESXi主机发现的基于块的存储设备上预先设置VMFS数据存储.
一个VMFS数据存储可扩展为多个物理存储数据区,其中包括SANLUN和本地存储器.
使用此功能可以将存储放在存储池中,并灵活地创建虚拟机所需的数据存储.
当虚拟机在数据存储上运行时,您可以增加数据存储的容量.
这一功能可让您在虚拟机需要新空间时为VMFS数据存储添加新空间.
VMFS专用于从多台物理机进行的并发访问,并在虚拟机文件上执行适当的访问控制.
跨ESX/ESXi主机共享VMFS数据存储作为一个群集文件系统,VMFS允许多个ESX/ESXi主机同时访问同一个VMFS数据存储.
为了确保多台服务器不会同时访问同一个虚拟机,VMFS提供了磁盘锁定.
图1-3显示了共享同一VMFS卷的若干ESX/ESXi系统.
iSCSISAN配置指南14VMware,Inc.
图1-3跨ESX/ESXi主机共享VMFS数据存储VMFS卷ESX/ESXiAESX/ESXiBESX/ESXiC虚拟磁盘文件VM1VM2VM3磁盘1磁盘2磁盘3由于虚拟机共享一个公共的VMFS数据存储,因此可能很难得出固定的高峰访问时段或优化性能.
必须针对高峰时段规划虚拟机存储访问,但是不同的应用程序可能具有不同的高峰访问时段.
VMware建议您使服务器、CPU及存储器上的虚拟机达到负载平衡.
在每台服务器上都运行多台虚拟机的组合,以便同一区域不会同时面临很高的资源需求.
元数据更新VMFS数据存储可保存虚拟机文件、目录、符号链接、RDM描述符文件等等.
数据存储还可保存这些对象的所有映射信息的一致性视图.
此映射信息称为元数据.
元数据会在每次访问虚拟机文件的属性时更新或在执行以下任一操作时修改:n创建、扩展或锁定虚拟机文件n更改文件的属性n启动或关闭虚拟机决定LUN的大小和数目在使用VMFS数据存储格式化LUN之前,必须规划如何设置ESX/ESXi系统的存储器.
决定LUN的大小和数目时,请牢记以下注意事项:n每个LUN应具有正确的RAID级别和存储特性,适用于在使用该LUN的虚拟机中运行的应用程序.
n一个LUN必须仅包含一个VMFS数据存储.
n如果多台虚拟机访问同一个VMFS,请使用磁盘份额区分虚拟机的优先级.
出于以下原因,您可能需要较少、较大的LUN:n在不向存储管理员要求更多空间的情况下,使创建虚拟机的灵活性更大.
n使调整虚拟磁盘大小、执行快照等等的灵活性更大.
n使要管理的VMFS数据存储变得更少.
出于以下原因,您可能需要较多、较小的LUN:n减少存储空间浪费.
n不同的应用程序可能需要不同的RAID特性.
n为每个LUN设置多路径策略和磁盘份额,从而增加灵活性.
章1将ESX/ESXi与iSCSI存储区域网络配合使用VMware,Inc.
15n使用Microsoft群集服务要求每个群集磁盘资源位于各自的LUN中.
n由于对单个卷的争用情况较少,因此性能更佳.
当虚拟机的存储特性不可用时,通常没有简单的方法来确定要置备的LUN的数目和大小.
可以使用预测性或自适应性方案决定LUN大小和数量.
使用预测性方案来决定LUN的大小和数目设置ESX/ESXi系统的存储器时,必须在创建VMFS数据存储之前决定要置备的LUN的大小和数目.
可以使用预测性方案决定LUN的大小和数目.
步骤1置备若干具有不同存储特性的LUN.
2在每个LUN上创建一个VMFS数据存储,并依照相应特性标记各个数据存储.
3创建虚拟磁盘以包含在LUN上创建的VMFS数据存储中的虚拟机应用程序数据,这些LUN具有满足其上应用程序要求的RAID级别.
4使用磁盘份额来区别高优先级虚拟机与低优先级虚拟机.
注意磁盘份额仅表示给定主机内的比例.
分配给某一主机上虚拟机的份额并不影响其他主机上的虚拟机.
5运行应用程序以确定虚拟机性能是否可接受.
使用自适应性方案来决定LUN的大小和数目设置ESX/ESXi主机的存储器时,必须在创建VMFS数据存储之前决定要置备的LUN的数目和大小.
可以使用自适应性方案决定LUN的大小和数目.
步骤1置备一个较大的LUN(RAID1+0或RAID5),同时启用写入缓存.
2在该LUN上创建VMFS.
3在VMFS上创建四个或五个虚拟磁盘.
4运行应用程序以确定磁盘性能是否可接受.
如果性能可接受,您可以在VMFS上再添加虚拟磁盘.
如果性能不可接受,请新建大的LUN(可能采用其他RAID级别)并重复此过程.
使用迁移,以防止在重新创建LUN时丢失虚拟机数据.
使用磁盘份额区分虚拟机优先级如果多台虚拟机访问同一VMFS数据存储(因此也是访问同一LUN),请使用磁盘份额区分虚拟机对磁盘的访问优先级.
磁盘份额可区别高优先级虚拟机与低优先级虚拟机.
步骤1启动vSphereClient并连接到vCenterServer.
2在"清单"面板中选择虚拟机,并从菜单中选择编辑设置.
3单击资源选项卡并单击磁盘.
iSCSISAN配置指南16VMware,Inc.
4双击要修改的磁盘的份额列,然后在下拉菜单中选择所需值.
份额是表示用于控制所有虚拟机磁盘带宽的相对衡量指标的值.
将"低"、"正常"、"高"及"自定义"值与服务器、ESX主机和服务控制台中所有虚拟机的所有份额的总数进行比较.
份额分配符号值可用于将其转换配置为数字值.
5单击确定保存选择.
注意磁盘份额仅表示给定ESX/ESXi主机内的比例.
分配给某一主机上虚拟机的份额并不影响其他主机上的虚拟机.
虚拟机如何访问SAN上的数据ESX/ESXi会将虚拟机的磁盘文件存储到位于SAN存储设备上的VMFS数据存储内.
当虚拟机客户机操作系统向其虚拟磁盘发出SCSI命令时,SCSI虚拟化层会将这些命令转换成VMFS文件操作.
虚拟机与其在SAN上存储的虚拟磁盘交互时,将发生以下过程:1虚拟机中的客户机操作系统读写SCSI磁盘时,将向虚拟磁盘发出SCSI命令.
2虚拟机操作系统中的设备驱动程序将与虚拟SCSI控制器进行通信.
3虚拟SCSI控制器将命令转发至VMkernel.
4VMkernel将执行以下任务.
n在VMFS卷中查找与客户机虚拟机磁盘对应的文件.
n将对虚拟磁盘上块的请求映射到相应物理设备上的块.
n将修改后的I/O请求从VMkernel中的设备驱动程序发送至iSCSI启动器(硬件或软件).
5如果iSCSI启动器是硬件iSCSI适配器(独立或从属),则该适配器执行以下任务:n将I/O请求封装到iSCSI协议数据单元(ProtocolDataUnit,PDU).
n将iSCSIPDU封装到TCP/IP数据包.
n通过以太网将IP数据包发送至iSCSI存储系统.
6如果iSCSI启动器是软件iSCSI适配器,则将发生以下事件.
niSCSI启动器将I/O请求封装到iSCSIPDU中.
n启动器通过TCP/IP连接发送iSCSIPDU.
nVMkernelTCP/IP堆栈将TCP/IP数据包转发到物理网卡.
n物理网卡通过以太网将IP数据包发送至iSCSI存储系统.
7根据iSCSI启动器用于连接网络的端口,以太网交换机和路由器将请求递送至主机要访问的存储设备.
了解多路径和故障切换要维持ESX/ESXi主机和其存储器之间的持续连接,ESX/ESXi必须支持多路径.
通过多路径技术,用户可以使用多个物理路径在主机和外部存储设备之间传输数据.
如果SAN网络中的任一网元(如适配器、交换机或线缆)发生故障,则ESX/ESXi可以切换到另一不使用故障组件的物理路径.
这种避免使用故障组件的路径切换过程称为路径故障切换.
除路径故障切换外,多路径还提供负载平衡.
负载平衡是在多个物理路径中分配I/O负载的过程.
负载平衡可以减少或消除潜在的瓶颈.
注意在路径故障切换发生时,虚拟机I/O最多能延迟60秒.
此延迟使SAN可以在拓扑更改后稳定其配置.
通常,主动-被动阵列上的I/O延迟时间可能会更长,而在主动-主动阵列上则更短.
章1将ESX/ESXi与iSCSI存储区域网络配合使用VMware,Inc.
17管理多路径为管理存储多路径,ESX/ESXi使用特殊的VMkernel层(即,可插入存储架构(PSA)).
PSA是一个开放式模块框架,用于协调多个多路径插件(MPP)的同时操作.
ESX/ESXi默认情况下提供的VMkernel多路径插件是VMware本机多路径插件(NMP).
NMP是管理子插件的可扩展模块.
NMP子插件有两种类型,即存储阵列类型插件(SATP)和路径选择插件(PSP).
SATP和PSP可以是VMware提供的内置插件,也可以由第三方提供.
如果需要更多多路径功能,第三方还可以提供MPP以作为默认NMP的附属或替代运行.
当协调VMwareNMP和所安装的任何第三方MPP时,PSA将执行以下任务:n加载和卸载多路径插件.
n对特定插件隐藏虚拟机细节.
n将特定逻辑设备的I/O请求路由到管理该设备的MPP.
n处理逻辑设备的I/O排队操作.
n在虚拟机之间实现逻辑设备带宽共享.
n处理物理存储HBA的I/O排队操作.
n处理物理路径发现和移除.
n提供逻辑设备和物理路径I/O统计信息.
如图1-4所示,多个第三方MPP可以与VMwareNMP并行运行.
安装后,第三方MPP将替代NMP的行为,并且完全控制指定存储设备的路径故障切换和负载平衡操作.
图1-4可插入存储架构第三方MPP第三方MPPVMkernel可插入存储架构VMwareNMPVMwareSATPVMwarePSPVMwareSATPVMwarePSPVMwareSATP第三方SATP第三方PSP多路径模块执行以下操作:n管理物理路径声明和取消声明.
n管理逻辑设备的创建、注册和取消注册.
n将物理路径与逻辑设备关联.
n支持路径故障检测和修复.
n处理逻辑设备的I/O请求:n为请求选择最佳物理路径.
n根据存储设备,执行处理路径故障和I/O命令重试所需的特定操作.
n支持管理任务,如中止或重置逻辑设备.
iSCSISAN配置指南18VMware,Inc.
VMware多路径模块默认情况下,ESX/ESXi提供名为本机多路径插件(NMP)的可扩展多路径模块.
一般来说,VMwareNMP支持VMware存储HCL上列出的所有存储阵列,并基于阵列类型提供默认的路径选择算法.
还将一组物理路径与特定存储设备或LUN关联.
存储阵列类型插件(SATP)负责处理给定存储阵列的路径故障切换.
路径选择插件(PSP)负责确定哪个物理路径用于向存储设备发出I/O请求.
SATP和PSP是NMP模块中的子插件.
安装ESX/ESXi时,会自动安装适合所用阵列的SATP.
您不需要获取或下载任何SATP.
VMwareSATP存储阵列类型插件(SATP)与VMwareNMP一起运行,负责特定于阵列的操作.
ESX/ESXi为VMware支持的各种类型阵列提供SATP.
它还提供默认SATP以支持非特定的主动-主动和ALUA存储阵列,以及适用于直接连接的设备的本地SATP.
每个SATP适合特定类别的存储阵列的特殊特性,并可以执行检测路径状况和激活被动路径所需的特定于阵列的操作.
因此,NMP模块本身可以使用多个存储阵列,而无需了解存储设备的特性.
在NMP确定要为特定存储设备使用哪个SATP并将该SATP与存储设备的物理路径相关联之后,该SATP会执行以下任务:n监控每个物理路径的健康状况.
n报告每个物理路径的状况变化.
n执行存储器故障切换所需的特定于阵列的操作.
例如,对于主动-被动设备,它可以激活被动路径.
VMwarePSP路径选择插件(PSP)与VMwareNMP一起运行,负责选择I/O请求的物理路径.
VMwareNMP根据与每个逻辑设备物理路径关联的SATP为该设备分配默认PSP.
可以替代默认PSP.
默认情况下,VMwareNMP支持以下PSP:最近使用(VMW_PSP_MRU)选择ESX/ESXi主机最近用于访问指定设备的路径.
如果此路径不可用,则主机会切换到替代路径并在该新路径可用时继续使用它.
MRU是主动-被动阵列的默认路径策略.
固定(VMW_PSP_FIXED)使用指定首选路径(如果已配置).
否则,它将使用在系统引导时间发现的第一个工作路径.
如果主机不能使用首选路径,则它会选择随机替代可用路径.
一旦首选路径可用,主机便会恢复到首选路径.
"固定"是主动-主动阵列的默认路径策略.
小心如果用于主动-被动阵列,则固定路径策略可能会导致路径抖动.
VMW_PSP_FIXED_AP将"固定"功能扩展到主动-被动阵列和ALUA模式阵列.
循环(VMW_PSP_RR)使用路径选择算法轮流选择所有可用的活动路径,并在路径之间启用负载平衡.
VMwareNMPI/O流当虚拟机向NMP管理的存储设备发出I/O请求时,将发生以下过程.
1NMP调用分配给此存储设备的PSP.
2PSP将选择要通过其发出I/O的相应物理路径.
3NMP在PSP选择的路径上发出I/O请求.
章1将ESX/ESXi与iSCSI存储区域网络配合使用VMware,Inc.
194如果I/O操作成功,则NMP报告其完成.
5如果I/O操作报告错误,则NMP调用适当的SATP.
6SATP解释I/O命令错误,并在适当时激活非活动路径.
7此时将调用PSP以选择要通过其发出I/O的新路径.
基于主机的路径故障切换在设置ESX/ESXi主机以用于多路径和故障切换时,可以根据主机上iSCSI启动器的类型使用多个iSCSIHBA或多个网卡.
图1-5显示了对于不同类型的iSCSI启动器可能的多路径设置.
图1-5基于主机的路径故障切换IP网络硬件iSCSI主机1SPiSCSI存储器HBA2HBA1软件iSCSI主机2NIC2NIC1软件适配器硬件iSCSI故障切换在硬件iSCSI中,主机通常具有两个或更多的可用硬件iSCSI适配器,使用一个或多个交换机可从这些适配器到达存储系统.
或者,设置可能包括一个适配器和两个存储处理器,以便适配器可以使用不同的路径到达存储系统.
如图1-5所示,主机1有两个硬件iSCSI适配器(HBA1和HBA2),用于提供两条到存储系统的物理路径.
主机上的多路径插件,不论是VMkernelNMP还是任何第三方MPP,默认情况下都可以访问这些路径,并可以监控每个物理路径的健康状况.
例如,如果HBA1或HBA1与网络之间的链路发生故障,多路径插件可以将路径切换到HBA2.
软件iSCSI故障切换如图1-5的主机2所示,通过软件iSCSI,您可以使用多张网卡为主机和存储系统间的iSCSI连接提供故障切换和负载平衡功能.
对于此设置,因为多路径插件对于主机上的物理网卡没有直接访问权,所以您首先需要将每张物理网卡连接至单独的VMkernel端口.
然后使用端口绑定技术将所有的VMkernel端口与软件iSCSI启动器相关联.
因此,连接到单独网卡的每个VMkernel端口将成为iSCSI存储堆栈及其存储感知多路径插件可使用的另一条路径.
有关如何为软件iSCSI配置多路径的详细信息,请参见第31页,"软件iSCSI和从属硬件iSCSI的网络配置".
iSCSISAN配置指南20VMware,Inc.
基于阵列的故障切换一些iSCSI存储系统可自动管理其端口的路径使用情况,且这种管理路径使用情况的方式对ESX/ESXi是透明的.
使用其中一个存储系统时,ESX/ESXi不会看到存储器上的多个端口,并且不能选择其连接的存储器端口.
这些系统只有一个可供ESX/ESXi进行初始通信的虚拟端口地址.
在初始通信期间,存储系统可重定向ESX/ESXi,使其与存储系统上的其他端口进行通信.
ESX/ESXi中的iSCSI启动器遵守此重新连接请求,并与系统上的其他端口连接.
存储系统使用此技术在可用端口间分散负载.
如果ESX/ESXi丢失其中一个端口的连接,则会自动尝试与存储系统的虚拟端口重新连接,并应重定向至活动的可用端口.
此重新连接和重定向将迅速发生,一般不会中断正在运行的虚拟机.
这些存储系统还可请求iSCSI启动器重新连接系统,以更改其连接的存储器端口.
这样可最高效地使用多个端口.
图1-6显示端口重定向的示例.
ESX/ESXi尝试连接10.
0.
0.
1虚拟端口.
此存储系统将此请求重定向至10.
0.
0.
2.
ESX/ESXi与10.
0.
0.
2连接并使用此端口进行I/O通信.
注意此存储系统并不总是重定向连接.
端口10.
0.
0.
1也可用于流量.
图1-6端口重定向存储器10.
0.
0.
110.
0.
0.
2ESX/ESXi"连接到位于10.
0.
0.
1的存储器""重新连接到10.
0.
0.
2"存储器10.
0.
0.
110.
0.
0.
2ESX/ESXiiSCSI存储器流量如果存储系统上充当虚拟端口的端口变得不可用,则存储系统会将虚拟端口地址重新分配至系统上的其他端口.
图1-7显示了此类端口重新分配的示例.
在此例中,虚拟端口10.
0.
0.
1变得不可用,存储系统将虚拟端口IP地址重新分配至其他端口.
第二个端口对两个地址做出响应.
图1-7端口重新分配存储器10.
0.
0.
110.
0.
0.
2存储器10.
0.
0.
110.
0.
0.
110.
0.
0.
2对于基于阵列的故障切换,只有在使用ESX/ESXi主机上的多个端口时,才可以有多条到存储器的路径.
这些路径是主动-主动路径.
有关详细信息,请参见第42页,"iSCSI会话管理".
章1将ESX/ESXi与iSCSI存储区域网络配合使用VMware,Inc.
21选择虚拟机位置如果您要设法优化虚拟机的性能,存储位置是个重要因素.
提供高性能和高可用性但价格昂贵的存储器与性能较低但成本也较低的存储器之间始终存在一个权衡.
根据多种因素,存储器可分为不同级别:n高端.
提供高性能和高可用性.
可能提供内置快照,便于备份及时间点(PiT)还原.
支持复制、完全SP冗余和SAS驱动器.
使用高成本心轴.
n中端.
提供中等程度的性能、较低可用性、部分SP冗余以及SCSI或SAS驱动器.
可能提供快照.
使用中等成本的心轴.
n低端.
提供低性能及少许内部存储冗余.
使用低端SCSI驱动器或SATA(串行低成本心轴).
并非所有应用程序都需要性能最高、可用性最佳的存储器,至少不是在整个生命周期内一直需要.
注意如果需要使用某些高端功能(如快照),但不希望额外支出费用,则可以在软件中实现某些高性能特性.
例如,您可以在软件中创建快照.
决定放置某虚拟机的位置时,请考虑以下问题:n该虚拟机的重要程度如何n有哪些性能及可用性要求n有哪些PiT还原要求n有哪些备份要求n有哪些复制要求由于重要程度发生改变或技术发展使得目前的较高端功能降为低端功能,虚拟机在其整个生命周期过程中可能变更级别.
重要程度是相对的,并且可能由于多种原因(包括组织、操作流程、法规要求及灾难规划等方面的变化)而改变.
针对服务器故障的设计SAN存储器的RAID架构本质上是在物理磁盘级别提供故障保护.
SAN在服务器与存储器之间提供多个路径,可防止网络或端口故障.
使整个环境变得耐故障的最后一步即提供针对服务器故障的保护.
使用VMwareHAESX/ESXi提供的其中一个故障切换选项是VMwareHighAvailability(HA).
使用VMwareHA可将虚拟机组织为故障切换组.
某一主机发生故障时,其所有虚拟机将立即在其他主机上启动.
虚拟机在其他主机上还原后会丢失内存状况,但磁盘状况与主机发生故障时完全一致(崩溃一致故障切换).
HA需要共享存储器(如SAN).
注意您必须获得许可才能使用VMwareHA.
iSCSISAN配置指南22VMware,Inc.
服务器故障切换和存储器注意事项如果要将ESX/ESXi主机配置为与SAN协同工作,必须使整个环境变得耐故障并针对主机故障进行保护.
对于各种类型的服务器故障切换,您必须遵循下列做法:n仅当每台服务器都对同一存储器具有访问权限时用于服务器故障切换的方法才可行.
因为多台服务器需要大量磁盘空间,而且存储系统故障切换与服务器故障切换相辅相成,所以通常会将SAN与服务器故障切换结合使用.
n规划SAN与服务器故障切换联合使用时,群集虚拟机使用的所有数据存储均必须对所有ESX/ESXi主机可见.
虽然主机可以访问数据存储,但并非该主机上的所有虚拟机就一定具有对数据存储上所有数据的访问权限.
虚拟机只能访问为其配置的虚拟磁盘.
假设出现配置错误,在虚拟机引导时,虚拟磁盘将被锁定,因此不会发生损坏现象.
注意一般来说,从SAN引导时,应该只有从该卷引导的主机可以看到相应的引导卷.
一种例外情况就是当您通过将另一主机指向同一个卷来尝试从故障中恢复时.
在这种情况下,上述SAN卷并非真正从SAN中引导.
因SAN已损坏,没有任何主机从其引导.
SAN卷是对主机可见的常规非引导卷.
LUN的显示与重新扫描SAN是动态的,某特定主机可使用哪些LUN随多种因素而变化.
VMkernel在启动时会发现LUN,这些LUN随后即在vSphereClient中可见.
如果对LUN进行了更改,您必须重新扫描才能看到相应更改.
niSCSI存储器上创建的新LUNn对LUN访问控制的更改n连接性方面的更改章1将ESX/ESXi与iSCSI存储区域网络配合使用VMware,Inc.
23iSCSISAN配置指南24VMware,Inc.
配置iSCSI启动器和存储器2必须先安装iSCSI启动器和存储器,ESX/ESXi才能与SAN配合使用.
为此,必须首先遵循某些基本要求,然后按照安装和设置硬件或软件iSCSI启动器的最佳做法来访问SAN.
本章讨论了以下主题:n第25页,"ESX/ESXiiSCSISAN要求"n第26页,"ESX/ESXiiSCSISAN限制"n第26页,"设置LUN分配"n第26页,"网络配置和身份验证"n第27页,"设置独立硬件iSCSI适配器"n第28页,"设置和配置从属硬件iSCSI适配器"n第30页,"设置和配置软件iSCSI适配器"n第31页,"软件iSCSI和从属硬件iSCSI的网络配置"n第34页,"将iSCSI端口绑定到iSCSI适配器"n第35页,"将巨帧与iSCSI配合使用"n第36页,"为软件和从属硬件iSCSI启用巨帧"n第37页,"配置iSCSI启动器的发现地址"n第38页,"配置iSCSI适配器的CHAP参数"n第41页,"配置iSCSI的其他参数"n第42页,"iSCSI会话管理"n第44页,"添加iSCSI存储器"ESX/ESXiiSCSISAN要求必须满足多项要求,才能使ESX/ESXi主机与SAN一起正常工作.
n验证是否支持SAN存储硬件和固件组合与ESX/ESXi系统配合使用.
有关最新列表,请参见在线的《硬件兼容性指南》中的"存储器/SAN"部分.
n将系统配置为每个LUN只有一个VMFS数据存储.
使用VMFS-3时,无需设置可访问性.
n除非使用无磁盘服务器(从SAN引导),否则请勿在SANLUN上设置诊断分区.
共享的诊断分区适用于从SAN引导无磁盘服务器的情况.
VMware,Inc.
25n使用RDM访问任何裸磁盘.
n设置客户机操作系统中的SCSI控制器驱动程序以指定一个足够大的队列.
您可以在系统设置过程中设置物理HBA的队列深度.
n在运行MicrosoftWindows的虚拟机上,增加SCSITimeoutValue参数值,以使Windows能接受因路径故障切换所导致的更长I/O延迟.
ESX/ESXiiSCSISAN限制本主题列出了将ESX/ESXi与iSCSISAN配合使用时存在的限制.
nESX/ESXi不支持iSCSI连接磁带设备.
n您不能使用虚拟机多路径软件对单个物理LUN执行I/O负载平衡.
n当主机同时使用从属和独立硬件iSCSI适配器时,它不能访问同一LUN.
设置LUN分配准备让ESX/ESXi系统使用iSCSISAN存储器时,需要设置LUN分配.
请注意以下几点:n存储器置备.
为了确保ESX/ESXi主机在启动时能够识别LUN,请配置所有iSCSI存储目标,以便主机可以对它们进行访问和使用.
此外,请对主机进行配置,使其可以发现所有可用的iSCSI目标.
nvMotion和VMwareDRS.
当您使用vCenterServer以及vMotion或DRS时,请确保用于虚拟机的LUN已置备到所有的ESX/ESXi主机.
此配置可为移动虚拟机提供最大的自由.
n主动-主动与主动-被动阵列.
将vMotion或DRS用于主动-被动SAN存储设备时,请确保所有ESX/ESXi系统通向所有存储处理器的路径均一致.
否则在进行vMotion迁移时可能会导致路径抖动.
对于在线的《VMware兼容性指南》中的"存储器/SAN"部分中未列出的主动-被动存储阵列,VMware不支持存储器-端口故障切换.
必须将服务器连接到存储系统的主动端口.
此配置可确保向ESX/ESXi主机呈现LUN.
网络配置和身份验证在ESX/ESXi能够发现iSCSI存储器之前,必须配置iSCSI启动器,并且还可能必须设置身份验证.
n对于软件iSCSI和从属硬件iSCSI,必须针对VMkernel对网络进行配置.
可以使用vmkping实用程序来验证网络配置.
对于硬件iSCSI,必须为HBA配置网络参数(例如IP地址、子网掩码和默认网关).
n如有必要,请检查并更改默认启动器名称.
n必须设置存储系统的发现地址,并应能使用vmkpingping此地址.
n在启动器和存储系统端启用CHAP身份验证.
启用身份验证后,其适用于尚未发现的所有目标,但不适用于已发现的目标.
设置发现地址后,发现的新目标将被公开,且在当时即可用.
有关如何使用vmkping命令的详细信息,请搜索VMware知识库.
iSCSISAN配置指南26VMware,Inc.
设置独立硬件iSCSI适配器独立硬件iSCSI适配器是可通过TCP/IP访问iSCSI存储器的专用第三方适配器.
此iSCSI适配器负责ESX/ESXi系统的所有iSCSI以及网络处理和管理.
独立硬件iSCSI适配器的设置和配置过程包含以下步骤:1检查适配器是否需要获得许可.
请参见供应商文档.
2安装适配器.
有关安装信息,请参见供应商文档.
3验证适配器是否安装正确.
请参见第27页,"查看独立硬件iSCSI适配器".
4配置发现地址.
请参见第37页,"配置iSCSI启动器的发现地址".
5配置CHAP参数.
请参见第38页,"配置iSCSI适配器的CHAP参数".
要使主机能够访问iSCSI存储器,必须先安装硬件iSCSI适配器并配置发现地址和CHAP参数.
查看独立硬件iSCSI适配器可以查看硬件iSCSI适配器以验证它是否已正确安装并准备好进行配置.
前提条件安装硬件iSCSI适配器后,它会显示在可供配置的存储适配器列表上.
您可查看其属性.
所需特权:主机.
配置.
存储器分区配置步骤1登录到vSphereClient,然后在"清单"面板中选择主机.
2单击配置选项卡,然后在"硬件"面板中单击存储适配器.
如果已安装,则硬件iSCSI启动器应显示在存储适配器列表上.
3选择要查看的启动器.
此时会显示启动器的默认详细信息,包括型号、iSCSI名称、iSCSI别名、IP地址及目标和路径信息.
4单击属性.
此时将显示"iSCSI启动器属性"对话框.
常规选项卡显示了启动器的附加特性.
现在可配置硬件启动器或更改其默认特性.
更改独立硬件启动器的名称和IP地址在配置独立硬件iSCSI启动器时,请确保其名称和IP地址的格式正确.
步骤1访问"iSCSI启动器属性"对话框.
2单击配置.
章2配置iSCSI启动器和存储器VMware,Inc.
273要更改启动器的默认iSCSI名称,请输入新的名称.
确保所输入的名称在整个环境中唯一且其格式正确;否则,某些存储设备可能无法识别硬件iSCSI启动器.
4(可选)输入iSCSI别名.
别名是用于标识硬件iSCSI启动器的名称.
5更改默认IP设置.
必须更改默认IP设置,以便IPSAN的IP设置正确无误.
与网络管理员一起确定HBA的IP设置.
6单击确定保存更改.
如果更改iSCSI名称,该名称会在新的iSCSI会话中使用.
但对于现有会话,直到注销并重新登录之后才能使用新设置.
设置和配置从属硬件iSCSI适配器从属硬件iSCSI适配器是基于VMware网络以及由VMware提供的iSCSI配置和管理界面的第三方适配器.
这种适配器类型可以是一张为同一端口提供标准网络适配器和iSCSI卸载功能的卡,例如Broadcom5709网卡.
iSCSI卸载功能作为iSCSI适配器显示在存储适配器列表中.
虽然默认情况下iSCSI适配器已启用,但若要使其正常工作,必须设置适用于iSCSI流量的网络,并将适配器与相应的VMkerneliSCSI端口绑定.
然后,可以配置此适配器.
从属硬件iSCSI适配器的完整设置和配置过程包括以下步骤:1查看从属硬件适配器.
请参见第29页,"查看从属硬件iSCSI适配器".
如果从属硬件适配器未显示在存储适配器列表中,请检查是否需要获取它们的许可.
请参见供应商文档.
2确定从属硬件适配器与物理网卡之间的关联.
请参见第29页,"确定从属硬件iSCSI与物理网络适配器之间的关联"确保记下对应物理网卡的名称.
例如,vmhba33适配器与vmnic1相对应,而vmhba34与vmnic2相对应.
3通过创建用于iSCSI流量的端口来配置iSCSI网络.
请参见第31页,"软件iSCSI和从属硬件iSCSI的网络配置".
对每个网卡打开一个端口.
例如,为vmnic1网卡创建vmk1端口,并为vmnic2创建vmk2端口.
4将iSCSI端口绑定到对应的从属硬件iSCSI适配器.
无论您有多个适配器还是只有一个适配器,都必须执行此步骤.
请参见第34页,"将iSCSI端口绑定到iSCSI适配器".
在此示例中,将端口vmk1绑定到vmhba33,并将端口vmk2绑定到vmhba34.
5配置发现地址.
请参见第37页,"配置iSCSI启动器的发现地址".
6配置CHAP参数.
请参见第38页,"配置iSCSI适配器的CHAP参数".
iSCSISAN配置指南28VMware,Inc.
从属硬件iSCSI注意事项当将从属硬件iSCSI适配器与ESX/ESXi一起使用时,某些注意事项适用.
n使用任何从属硬件iSCSI适配器时,与该适配器关联的网卡的性能报告可能显示很少活动或无活动,即使在iSCSI流量很大时也是如此.
出现这种行为是因为iSCSI流量绕过常规网络堆栈.
nBroadcomiSCSI适配器在硬件中执行数据重组,其缓冲区空间有限.
在拥堵的网络中或在负载下使用BroadcomiSCSI适配器时,启用流量控制可避免性能下降.
流量控制可管理两个节点之间的数据传输速率,以防止发送方的速度过快而超过接收方.
为了获得最佳效果,请在I/O路径端点处、主机和iSCSI存储系统上启用流量控制.
nBroadcomiSCSI适配器不支持IPv6和巨帧.
查看从属硬件iSCSI适配器查看从属硬件iSCSI适配器以验证其加载正确.
如果从属硬件适配器未显示在存储适配器列表中,请检查是否需要获取它的许可.
请参见供应商文档.
步骤1登录到vSphereClient,然后在"清单"面板中选择主机.
2单击配置选项卡,然后在"硬件"面板中单击存储适配器.
如果已安装,则从属硬件iSCSI适配器应显示在存储适配器列表中.
3选择要查看的适配器,然后单击属性.
"iSCSI启动器属性"对话框会显示该适配器的默认详细信息,包括iSCSI名称和iSCSI别名.
确定从属硬件iSCSI与物理网络适配器之间的关联需要确定与从属硬件iSCSI适配器关联的物理网卡的名称.
还需要知道能够正确执行端口绑定的关联.
步骤1使用vSphereCLI命令确定与iSCSI适配器关联的物理网卡的名称.
esxcliswiscsivmniclist-dvmhba#vmhba#是iSCSI适配器的名称.
2在输出中,找到vmnicname:vmnic#这一行.
vmnic#是与iSCSI适配器对应的网络适配器的名称.
下一步确定网卡的名称后,请在连接到网卡的vSwitch上创建一个iSCSI端口.
然后将此端口绑定到从属硬件iSCSI适配器,以便您的主机可以指导通过网卡的iSCSI流量.
章2配置iSCSI启动器和存储器VMware,Inc.
29设置和配置软件iSCSI适配器借助基于软件的iSCSI实施,可使用标准网卡将主机连接至IP网络上的远程iSCSI目标.
ESX/ESXi中内置的软件iSCSI适配器为此连接提供了便利,可通过网络堆栈与物理网卡进行通信.
使用vSphereClient连接vCenterServer或主机后,可以看到存储适配器列表上的软件iSCSI适配器.
只显示一个软件iSCSI适配器.
在使用软件iSCSI适配器之前,必须设置网络、启用适配器,并配置发现地址和CHAP等参数.
软件iSCSI适配器配置工作流程包括以下步骤:1通过创建用于iSCSI流量的端口来配置iSCSI网络.
请参见第31页,"软件iSCSI和从属硬件iSCSI的网络配置".
2启用软件iSCSI适配器.
请参见第30页,"启用软件iSCSI适配器".
3如果将多个网卡用于软件iSCSI多路径,则通过将所有iSCSI端口连接到软件iSCSI适配器来执行端口绑定.
请参见第34页,"将iSCSI端口绑定到iSCSI适配器".
4如有需要的话,请启用巨帧.
必须通过vSphereCLI为每个vSwitch启用巨帧.
5配置发现地址.
请参见第37页,"配置iSCSI启动器的发现地址".
6配置CHAP参数.
请参见第38页,"配置iSCSI适配器的CHAP参数".
启用软件iSCSI适配器必须启用软件iSCSI适配器,以便主机可以使用它来访问iSCSI存储器.
前提条件在启用软件iSCSI适配器之前,必须设置iSCSI的网络.
注意如果使用软件iSCSI适配器从iSCSI进行引导,则在首次引导时会启用该适配器,并自动创建网络配置.
如果禁用了该适配器,它会在您每次引导主机时重新启用.
步骤1登录vSphereClient,从"清单"面板中选择服务器.
2单击配置选项卡,然后在"硬件"面板中单击存储适配器.
此时将显示可用存储适配器的列表.
3选择要配置的iSCSI启动器,然后单击属性.
4单击配置.
5要启用启动器,请选择已启用,然后单击确定.
启用启动器之后,主机将为其分配默认的iSCSI名称.
如果需要您可以更改默认名称.
iSCSISAN配置指南30VMware,Inc.
软件iSCSI和从属硬件iSCSI的网络配置如果使用软件iSCSI适配器或从属硬件iSCSI适配器,必须先设置iSCSI网络,才能启用和配置iSCSI适配器.
iSCSI的网络配置涉及打开VMkerneliSCSI端口,用于iSCSI适配器与物理网卡之间的流量.
根据要用于iSCSI流量的物理网卡的数量,网络设置可能不同.
n如果有单个物理网卡,请在与该网卡相连的vSwitch上创建一个iSCSI端口.
VMware建议为iSCSI指定一个单独的网络适配器.
不要在100Mbps或更慢的适配器上使用iSCSI.
n如果有两个或更多物理网卡用于iSCSI,请为每个物理网卡创建一个单独的iSCSI端口,然后将这些网卡用于iSCSI多路径.
请参见图2-1.
图2-1iSCSI网络物理网卡vmnic1vmnic2vmnic1vmnic2具有iSCSI卸载功能的物理网卡主机1主机1主机2主机2iSCSI端口软件iSCSI适配器非独立硬件iSCSI适配器vSwitchvmk1vmk2vmk1vmhba33vmhba#vmhba34vmk2vSwitch虚拟物理两个已连接到软件iSCSI适配器的物理网卡两个具有iSCSI卸载功能的物理网卡IP网络iSCSI存储器iSCSI存储器注意使用从属硬件iSCSI适配器时,与该适配器关联的网卡的性能报告可能显示很少活动或无活动,即使在iSCSI流量很大时也是如此.
出现这种行为是因为iSCSI流量绕过常规网络堆栈.
n为单个网卡创建iSCSI端口第32页,使用此任务可将运行iSCSI存储器服务的VMkernel连接至物理网卡.
如果只有一个物理网络适配器要用于iSCSI流量,则这是设置iSCSI网络所必须执行的唯一过程.
n将多个网卡用于软件和从属硬件iSCSI第32页,如果主机有多个物理网卡用于iSCSI,请使用1:1映射对每个物理网卡创建一个单独的iSCSI端口.
n为多个网卡创建其他iSCSI端口第33页,如果您有两个或更多个网卡可指定给iSCSI,而且希望将所有iSCSI网卡连接到单个vSwitch,请使用此任务.
在此任务中,需要使用1:1映射将VMkerneliSCSI端口与网络适配器相关联.
章2配置iSCSI启动器和存储器VMware,Inc.
31为单个网卡创建iSCSI端口使用此任务可将运行iSCSI存储器服务的VMkernel连接至物理网卡.
如果只有一个物理网络适配器要用于iSCSI流量,则这是设置iSCSI网络所必须执行的唯一过程.
步骤1登录vSphereClient,在"清单"面板中选择主机.
2依次单击配置选项卡和网络.
3在"虚拟交换机"视图中,单击添加网络.
4选择VMkernel,然后单击下一步.
5选择创建虚拟交换机以创建新的vSwitch.
6选择要用于iSCSI流量的网卡.
重要事项如果要为从属硬件iSCSI适配器创建一个端口,请确保选择与iSCSI组件相对应的网卡.
请参见第29页,"确定从属硬件iSCSI与物理网络适配器之间的关联".
7单击下一步.
8输入网络标签.
网络标签是用于识别所创建的VMkernel端口的友好名称,如iSCSI.
9单击下一步.
10指定IP设置,然后单击下一步.
11检查信息,然后单击完成.
将多个网卡用于软件和从属硬件iSCSI如果主机有多个物理网卡用于iSCSI,请使用1:1映射对每个物理网卡创建一个单独的iSCSI端口.
要实现1:1映射,请为每个网络适配器和iSCSI端口对指定一个单独的vSwitch.
请参见图2-2.
图2-2单独的vSwitch上的iSCSI端口和网卡替代方法是将所有网卡和iSCSI端口对添加到单个vSwitch.
请参见图2-3.
必须替代默认设置,并确保每个端口只映射到一个对应的活动网卡.
图2-3单个vSwitch上的iSCSI端口和网卡有关将网卡和VMkernel端口对添加到vSwitch的详细信息,请参见第33页,"为多个网卡创建其他iSCSI端口".
iSCSISAN配置指南32VMware,Inc.
在将iSCSI端口映射到网络适配器之后,请使用esxcli命令将这些端口绑定到iSCSI适配器.
对于从属硬件iSCSI适配器,无论您是使用一个网卡还是多个网卡,都要执行端口绑定.
有关信息,请参见第34页,"将iSCSI端口绑定到iSCSI适配器".
为多个网卡创建其他iSCSI端口如果您有两个或更多个网卡可指定给iSCSI,而且希望将所有iSCSI网卡连接到单个vSwitch,请使用此任务.
在此任务中,需要使用1:1映射将VMkerneliSCSI端口与网络适配器相关联.
现在需要将额外的网卡连接到现有vSwitch,并将它们映射到相应的iSCSI端口.
注意如果将具有多个dvUplink的vNetwork分布式交换机用于端口绑定,则需要为每个物理网卡创建一个单独的dvPort组.
然后,应设置绑定策略,以便每个dvPort组只有一个活动dvUplink.
有关vNetwork分布式交换机的详细信息,请参见《ESX/ESXi配置指南》的"网络"部分.
前提条件必须创建vSwitch,将iSCSI端口映射到指定用于iSCSI流量的物理网卡.
步骤1登录vSphereClient,在"清单"面板中选择主机.
2依次单击配置选项卡和网络.
3选择用于iSCSI的vSwitch,然后单击属性.
4将额外网络适配器连接到vSwitch.
a在"vSwitch属性"对话框中,单击网络适配器选项卡,然后单击添加.
b在列表中选择一个或多个网卡,然后单击下一步.
对于从属硬件iSCSI适配器,确保只选择具有一个相应的iSCSI组件的那些网卡.
c检查"适配器摘要"页面上的信息,然后单击完成.
此时将重新出现网络适配器列表,显示现在由vSwitch声明的网络适配器.
5为已连接的所有网卡创建iSCSI端口.
iSCSI端口的数量必须与vSwitch上网卡的数量相对应.
a在"vSwitch属性"对话框中,单击端口选项卡,然后单击添加.
b选择VMkernel,然后单击下一步.
c在端口组属性下方,输入网络标签(如iSCSI),然后单击下一步.
d指定IP设置,然后单击下一步.
输入子网掩码时,请确保网卡已设置为其连接到的存储系统的子网.
e检查信息,然后单击完成.
小心如果和iSCSI适配器(软件或从属硬件iSCSI适配器)配合使用的网卡与iSCSI目标不在同一子网中,则主机将无法建立从此网络适配器到目标的会话.
章2配置iSCSI启动器和存储器VMware,Inc.
336将每个iSCSI端口仅映射到一个活动网卡.
默认情况下,对于vSwitch上的每个iSCSI端口,所有网络适配器均显示为活动状态.
必须替代此设置,以便每个端口只映射到一个相应的活动网卡.
例如,iSCSI端口vmk1映射到vmnic1,端口vmk2映射到vmnic2,等等.
a在端口选项卡上,选择iSCSI端口,然后单击编辑.
b单击网卡绑定选项卡,并选择替代vSwitch故障切换顺序.
c仅将一个适配器指定为活动适配器,并将所有剩余的适配器移动到未用的适配器类别.
7对vSwitch上的每个iSCSI端口重复最后一步.
下一步执行此任务后,需要使用esxcli命令将iSCSI端口绑定到软件iSCSI或从属硬件iSCSI适配器.
将iSCSI端口绑定到iSCSI适配器可将为网卡创建的iSCSI端口绑定到iSCSI适配器.
对于软件iSCSI适配器,只有在您设置了两个或更多个用于iSCSI多路径的网卡时,才需要执行此任务.
如果使用从属硬件iSCSI适配器,则无论您有多个适配器还是一个适配器,都需要执行此任务.
前提条件您可完成以下任务:n对于从属硬件iSCSI适配器,使物理网卡与iSCSI适配器之间正确地关联.
请参见第29页,"查看从属硬件iSCSI适配器".
n设置用于iSCSI流量的网络.
请参见第31页,"软件iSCSI和从属硬件iSCSI的网络配置".
n要使用软件iSCSI适配器,首先将它启用.
请参见第30页,"启用软件iSCSI适配器".
步骤1确定分配给物理网卡的iSCSI端口的名称.
vSphereClient在网络标签下显示端口的名称.
在下图中,端口的名称为vmk1和vmk2.
2使用vSphereCLI命令将iSCSI端口绑定到iSCSI适配器.
esxcliswiscsinicadd-nport_name-dvmhba重要事项对于软件iSCSI,对连接所有端口与软件iSCSI适配器的每个iSCSI端口重复此命令.
对于从属硬件iSCSI,确保将每个端口绑定到适当的相应适配器.
iSCSISAN配置指南34VMware,Inc.
3验证是否已将该端口添加到iSCSI适配器.
esxcliswiscsiniclist-dvmhba4使用vSphereClient重新扫描iSCSI适配器.
将iSCSI端口绑定到iSCSI适配器查看有关示例,了解如何将为物理网卡创建的多个端口绑定到软件iSCSI适配器或多个从属硬件iSCSI适配器.
示例2-1将iSCSI端口连接到软件iSCSI适配器此示例显示如何将iSCSI端口vmk1和vmk2连接到软件iSCSI适配器vmhba33.
1将vmk1连接到vmhba33:esxcliswiscsinicadd-nvmk1-dvmhba33.
2将vmk2连接到vmhba33:esxcliswiscsinicadd-nvmk2-dvmhba33.
3验证vmhba33配置:esxcliswiscsiniclist-dvmhba33.
即会列出vmk1和vmk2.
如果通过vSphereClient显示vmhba33适配器的"路径"视图,则可以看见该适配器使用两个路径访问同一目标.
路径的运行时名称是vmhba33:C1:T1:L0和vmhba33:C2:T1:L0.
此示例中的C1和C2表示用于多路径的两个网络适配器.
示例2-2将iSCSI端口连接到从属硬件iSCSI适配器此示例显示如何将iSCSI端口vmk1和vmk2连接到对应的硬件iSCSI适配器vmhba33和vmhba34.
1将vmk1连接到vmhba33:esxcliswiscsinicadd-nvmk1-dvmhba33.
2将vmk2连接到vmhba34:esxcliswiscsinicadd-nvmk2-dvmhba34.
3验证vmhba33配置:esxcliswiscsiniclist-dvmhba33.
4验证vmhba34配置:esxcliswiscsiniclist-dvmhba34.
断开iSCSI端口与iSCSI适配器的连接如果需要更改用于iSCSI流量的网络配置(例如,移除网卡或iSCSI端口),应确保断开iSCSI端口与iSCSI适配器的连接.
重要事项如果在主机与目标之间存在活动的iSCSI会话,则不能断开iSCSI端口的连接.
步骤1使用vSphereCLI断开iSCSI端口与iSCSI适配器的连接.
esxcliswiscsinicremove-nport_name-dvmhba2验证是否已断开该端口与iSCSI适配器的连接.
esxcliswiscsiniclist-dvmhba3使用vSphereClient重新扫描iSCSI适配器.
将巨帧与iSCSI配合使用巨帧允许ESX/ESXi将较大的帧发送到物理网络上.
要使巨帧生效,网络必须端到端支持巨帧.
最大可支持9KB(9000字节)的巨帧.
表2-1说明ESX/ESXi提供的对巨帧的支持级别.
章2配置iSCSI启动器和存储器VMware,Inc.
35表2-1对巨帧的支持iSCSI适配器的类型巨帧支持备注软件iSCSI支持与供应商核对,以确保您的物理网络适配器和iSCSI存储器支持巨帧.
从属硬件iSCSI支持Broadcom从属iSCSI适配器不支持巨帧.
独立硬件iSCSI不支持为软件和从属硬件iSCSI启用巨帧使用vSphereCLI对指定用于iSCSI流量的每个vSwitch启用巨帧.
同样,您必须创建启用巨帧的VMkernel网络接口.
1在vSwitch上启用巨帧第36页,要在vSwitch上启用巨帧,可更改该vSwitch的MTU配置.
2创建已启用巨帧的VMkernel接口第36页,使用vSphereCLI可创建启用了巨帧的VMkernel网络接口.
在vSwitch上启用巨帧要在vSwitch上启用巨帧,可更改该vSwitch的MTU配置.
步骤1在vSphereCLI中,运行vicfg-vswitch-mMTUvSwitch命令.
通过此命令,可为此vSwitch上的所有物理网卡设置MTU.
所设置的MTU大小应在连接vSwitch的所有网卡中是最大的.
2运行vicfg-vswitch-l命令可以在主机上显示vSwitch列表并检查vSwitch的配置是否正确.
创建已启用巨帧的VMkernel接口使用vSphereCLI可创建启用了巨帧的VMkernel网络接口.
步骤1在vSphereCLI上,运行vicfg-vmknic命令创建支持巨帧的VMkernel连接.
vicfg-vmknic-a-Iipaddress-nnetmask-mMTUportgroupname2运行vicfg-vmknic-l命令可显示VMkernel接口列表并检查启用了巨帧的接口的配置是否正确.
3检查VMkernel接口是否已连接启用巨帧的vSwitch.
4将所有的物理交换机以及与该VMkernel接口相连的任何物理机或虚拟机配置为支持巨帧.
iSCSISAN配置指南36VMware,Inc.
配置iSCSI启动器的发现地址设置目标发现地址,以便iSCSI启动器确定网络上可供访问的存储资源.
ESX/ESXi系统支持以下发现方法:动态发现也称为SendTargets发现.
启动器每次与指定的iSCSI服务器联系时,都会向该服务器发送SendTargets请求.
服务器通过向启动器提供一个可用目标的列表来做出响应.
这些目标的名称和IP地址显示在静态发现选项卡上.
如果移除了通过动态发现添加的静态目标,则该目标可在下次进行重新扫描、重置HBA或重新引导主机时返回到列表中.
静态发现启动器不必执行任何发现.
启动器拥有它可以联系的目标列表,并使用目标的IP地址和名称与这些目标进行通信.
设置动态发现使用动态发现时,启动器每次与指定的iSCSI服务器联系时,都会向该服务器发送SendTargets请求.
服务器通过向启动器提供一个可用目标的列表来做出响应.
设置动态发现时,只能添加新的iSCSI服务器.
不能更改现有iSCSI服务器的IP地址、DNS名称或端口号.
要进行更改,请删除现有服务器,并添加一台新服务器.
步骤1登录vSphereClient,在"清单"面板中选择服务器.
2单击配置选项卡,然后在"硬件"面板中单击存储适配器.
此时将显示可用存储适配器的列表.
3选择要配置的iSCSI启动器,然后单击属性.
4在"iSCSI启动器属性"对话框中,单击动态发现选项卡.
5要为SendTargets发现添加地址,请单击添加.
此时将显示添加发送目标服务器对话框.
6输入存储系统的IP地址或DNS名称,然后单击确定.
在主机与此系统建立SendTargets会话后,新发现的任何目标均将出现在"静态发现"列表中.
7要删除特定的发送目标服务器,请将其选中,然后单击移除.
在移除发送目标服务器之后,它可能仍作为静态目标的父目标出现在"继承"字段中.
此条目表示静态目标的发现位置且并不影响功能.
下一步为iSCSI适配器配置动态发现后,请重新扫描适配器.
设置静态发现借助于iSCSI启动器以及动态发现方法,可以使用静态发现并手动输入目标的信息.
设置静态发现时,只能添加iSCSI目标.
不能更改现有目标的IP地址、DNS名称、iSCSI目标名称或端口号.
要进行更改,请移除现有目标,然后添加一个新目标.
章2配置iSCSI启动器和存储器VMware,Inc.
37步骤1登录vSphereClient,在"清单"面板中选择服务器.
2单击配置选项卡,然后在"硬件"面板中单击存储适配器.
此时将显示可用存储适配器的列表.
3选择要配置的iSCSI启动器,然后单击属性.
4在"iSCSI启动器属性"对话框中,单击静态发现选项卡.
该选项卡将显示所有动态发现目标和已输入的所有静态目标.
5要添加目标,请单击添加,然后输入目标的信息.
6要删除特定目标,请选择目标,然后单击移除.
下一步为iSCSI适配器配置静态发现后,请重新扫描适配器.
配置iSCSI适配器的CHAP参数由于iSCSI技术用来连接远程目标的IP网络不保护其传输的数据,因此必须确保连接的安全.
质询握手身份验证协议(CHAP)是iSCSI实现的协议之一,该协议会验证访问网络上目标的启动器的合法性.
在主机和目标建立连接时,CHAP使用三路握手算法验证主机和iSCSI目标(如果适用的话)的身份.
系统根据启动器和目标共享的预定义的专用值或CHAP密钥进行验证.
ESX/ESXi支持适配器级别的CHAP身份验证.
在这种情况下,所有目标从iSCSI启动器接收相同的CHAP名称和密钥.
对于软件和从属硬件iSCSI适配器,ESX/ESXi还支持基于每个目标的CHAP身份验证,此身份验证使您能够为每个目标配置不同凭据以实现更高级别的安全性.
选择CHAP身份验证方法ESX/ESXi支持为所有类型的iSCSI启动器设置单向CHAP,以及为软件和从属硬件iSCSI设置双向CHAP.
在配置CHAP前,请检查是否在iSCSI存储系统中启用了CHAP并检查系统所支持的CHAP身份验证方法.
如果已启用CHAP,请为启动器启用CHAP,并确保CHAP身份验证凭据与iSCSI存储器上的身份验证凭据相匹配.
ESX/ESXi支持下列CHAP身份验证方法:单向CHAP在单向CHAP身份验证中,目标需验证启动器,但启动器无需验证目标.
双向CHAP在双向CHAP身份验证中,提供了供启动器验证目标的附加安全级别.
VMware仅对软件和从属硬件iSCSI适配器支持此方法.
对于软件和从属硬件iSCSI适配器,可以为每个启动器或在目标级别设置单向CHAP和双向CHAP.
硬件iSCSI仅支持启动器级别的CHAP.
设置CHAP参数时,请指定CHAP的安全级别.
注意指定CHAP安全级别时,存储阵列的响应方式取决于阵列的CHAP实施,且因供应商而异.
例如,选择使用CHAP,除非已被目标禁止时,有些存储阵列在响应时会使用CHAP,而有些则不会.
有关不同的启动器和目标配置中的CHAP身份验证行为的信息,请参阅阵列文档.
iSCSISAN配置指南38VMware,Inc.
表2-2CHAP安全级别CHAP安全级别描述受支持的不使用CHAP主机不使用CHAP身份验证.
如果当前已启用,则选择此选项禁用身份验证.
软件iSCSI从属硬件iSCSI独立硬件iSCSI不使用CHAP,除非目标需要主机首选非CHAP连接,但如果目标要求可以使用CHAP连接.
软件iSCSI从属硬件iSCSI使用CHAP,除非已被目标禁止主机首选CHAP,但如果目标不支持CHAP,可以使用非CHAP连接.
软件iSCSI从属硬件iSCSI独立硬件iSCSI使用CHAP主机需要成功的CHAP身份验证.
如果CHAP协商失败,则连接失败.
软件iSCSI从属硬件iSCSI设置iSCSI启动器的CHAP凭据您可以在启动器级别将所有目标设置为从iSCSI启动器接收相同的CHAP名称和密钥.
默认情况下,所有发现地址或静态目标都继承在启动器级别设置的CHAP参数.
前提条件在设置软件或从属硬件iSCSI的CHAP参数之前,请先确定是要配置单向CHAP还是双向CHAP.
独立硬件iSCSI适配器不支持双向CHAP.
n在单向CHAP中,目标会验证启动器.
n在双向CHAP中,目标和启动器会相互验证.
确保对CHAP和双向CHAP使用不同的密钥.
在配置CHAP参数时,确保它们与存储器端的参数相匹配.
CHAP名称不得超过511个字母数字字符,CHAP密钥不得超过255个字母数字字符.
有些适配器(例如QLogic适配器)的限值更低,CHAP名称不得超过255个字母数字字符,CHAP密钥不得超过100个字母数字字符.
步骤1访问"iSCSI启动器属性"对话框.
2在常规选项卡上,单击CHAP.
3要配置单向CHAP,请在CHAP下指定以下项:a选择CHAP安全级别.
n不使用CHAP,除非目标需要(仅限软件iSCSI和从属硬件iSCSI)n使用CHAP,除非已被目标禁止n使用CHAP(仅限软件iSCSI和从属硬件iSCSI).
要能够配置双向CHAP,必须选择此选项.
b指定CHAP名称.
确保指定的名称与在存储器端配置的名称相匹配.
n要将CHAP名称设置为iSCSI启动器名称,请选中使用启动器名称.
n要将CHAP名称设置为除iSCSI启动器名称之外的任何其他名称,请取消选中使用启动器名称,并在名称字段中输入名称.
c输入单向CHAP密钥以用作身份验证的一部分.
确保使用在存储器端输入的相同密钥.
章2配置iSCSI启动器和存储器VMware,Inc.
394要配置双向CHAP,请先按照步骤3中的说明配置单向CHAP.
确保为单向CHAP选择使用CHAP选项.
然后,在双向CHAP下,指定以下各项:a选择使用CHAP.
b指定双向CHAP名称.
c输入双向CHAP密钥.
确保对单向CHAP和双向CHAP使用不同的密钥.
5单击确定.
6重新扫描启动器.
如果更改了CHAP或双向CHAP参数,则它们会用于新的iSCSI会话.
但对于现有会话,直到注销并重新登录之后才能使用新设置.
设置目标的CHAP凭据对于软件和从属硬件iSCSI适配器,可以为每个发现地址或静态目标配置不同的CHAP凭据.
在配置CHAP参数时,确保它们与存储器端的参数相匹配.
CHAP名称不得超过511个字母数字字符,CHAP密钥不得超过255个字母数字字符.
前提条件在设置软件和从属硬件iSCSI的CHAP参数之前,请先确定是要配置单向CHAP还是双向CHAP.
n在单向CHAP中,目标会验证启动器.
n在双向CHAP中,目标和启动器会相互验证.
确保对CHAP和双向CHAP使用不同的密钥.
步骤1访问"iSCSI启动器属性"对话框.
2选择动态发现或静态发现选项卡.
3从可用目标的列表中,选择要配置的目标,然后单击设置>CHAP.
4在CHAP区域配置单向CHAP.
a取消选中从父项继承.
b选择下列选项之一:n不使用CHAP,除非目标需要n使用CHAP,除非已被目标禁止n使用CHAP.
要能够配置双向CHAP,必须选择此选项.
c指定CHAP名称.
确保指定的名称与在存储器端配置的名称相匹配.
n要将CHAP名称设置为iSCSI启动器名称,请选中使用启动器名称.
n要将CHAP名称设置为除iSCSI启动器名称之外的任何其他名称,请取消选中使用启动器名称,并在名称字段中输入名称.
d输入单向CHAP密钥以用作身份验证的一部分.
确保使用在存储器端输入的相同密钥.
iSCSISAN配置指南40VMware,Inc.
5要配置双向CHAP,请先按照步骤4中的说明配置单向CHAP.
确保为单向CHAP选择使用CHAP选项.
然后,在"双向CHAP"区域指定以下项:a取消选中从父项继承.
b选择使用CHAP.
c指定双向CHAP名称.
d输入双向CHAP密钥.
确保对单向CHAP和双向CHAP使用不同的密钥.
6单击确定.
7重新扫描启动器.
如果更改了CHAP或双向CHAP参数,则它们会用于新的iSCSI会话.
但对于现有会话,直到注销并重新登录之后才能使用新设置.
禁用CHAP如果存储系统不需要CHAP,则可以将其禁用.
如果在需要CHAP身份验证的系统上禁用CHAP,则现有iSCSI会话会保持活动状态,直到重新引导ESX/ESXi主机或者存储系统强制注销为止.
在会话结束之后,您将不能再连接需要CHAP的目标.
步骤1打开"CHAP凭据"对话框.
2对于软件和从属硬件iSCSI适配器,若要仅禁用双向CHAP而保留单向CHAP,请在"双向CHAP"区域选择不使用CHAP.
3要禁用单向CHAP,请在CHAP区域中选择不使用CHAP.
如果设置了双向CHAP,则在禁用单向CHAP时,双向CHAP将自动转换为不使用CHAP.
4单击确定.
配置iSCSI的其他参数可能需要为iSCSI启动器配置其他参数.
例如,有些iSCSI存储系统要求ARP(地址解析协议)重定向,以在端口间动态移动iSCSI流量.
在这种情况下,必须在主机上激活ARP重定向.
表2-3列出了使用vSphereClient可以配置的高级iSCSI参数.
此外,可以使用vicfg-iscsivSphereCLI命令配置部分高级参数.
有关信息,请参阅《vSphere命令行界面安装和脚本指南及vSphere命令行界面参考》.
除非在与VMware支持团队进行合作,或拥有为设置所提供值的全面信息,否则不要对高级iSCSI设置进行任何更改.
表2-3iSCSI启动器的其他参数高级参数描述配置对象头摘要增加数据完整性.
启用头摘要后,系统会对每个iSCSI协议数据单元(PDU)的头部计算校验和,并使用CRC32C算法进行验证.
软件iSCSI从属硬件iSCSI数据摘要增加数据完整性.
启用数据摘要后,系统会对每个PDU的数据部分计算校验和,并使用CRC32C算法进行验证.
注意使用IntelNehalem处理器的系统会清除软件iSCSI的iSCSI摘要计算,因此可以减少对性能的影响.
软件iSCSI从属硬件iSCSI最大未完成R2T数定义在收到确认PDU前可转换的R2T(即将传输)PDU.
软件iSCSI从属硬件iSCSI章2配置iSCSI启动器和存储器VMware,Inc.
41表2-3iSCSI启动器的其他参数(续)高级参数描述配置对象初次突发长度指定在执行单个SCSI命令期间iSCSI启动器可以发送到目标的未经请求的数据的最大数量,以字节为单位.
软件iSCSI从属硬件iSCSI最大突发长度传入数据或请求的传出数据iSCSI序列中的最大SCSI数据负载,以字节为单位.
软件iSCSI从属硬件iSCSI最大接收数据段长度在iSCSIPDU中可以接收的最大数据段长度,以字节为单位.
软件iSCSI独立硬件iSCSI会话恢复超时指定执行会话恢复的时间限制(秒).
如果该超时时间超过限值,则iSCSI启动器将终止会话.
软件iSCSI从属硬件iSCSI无操作时间间隔指定在从iSCSI启动器发送到iSCSI目标的NOP-Out请求之间的时间间隔(秒).
NOP-Out请求充当验证iSCSI启动器和iSCSI目标之间的连接是否处于活动状态的ping机制.
软件iSCSI从属硬件iSCSI无操作超时指定主机收到NOP-In消息之前的时间限制(秒).
该消息由iSCSI目标发出,以响应NOP-Out请求.
无操作超时时间超过限值时,启动器将终止当前会话并启动新的会话.
软件iSCSI从属硬件iSCSIARP重定向允许存储系统将iSCSI流量从一个端口动态移动到另一个端口.
ARP对执行基于阵列的故障切换的存储系统是必需的.
软件和独立硬件iSCSI(可通过vSphereCLI配置)延迟的ACK允许系统对接收的数据包进行延迟确认.
软件iSCSI从属硬件iSCSI配置iSCSI的高级参数高级iSCSI设置控制如标头、数据摘要、ARP重定向、延迟的ACK等参数.
通常,不需要更改这些设置,因为ESX/ESXi主机使用分配的预定义值能够正常运行.
小心除非在与VMware支持团队进行合作,或拥有为设置所提供值的全面信息,否则不要对高级iSCSI设置进行任何更改.
步骤1访问"iSCSI启动器属性"对话框.
2要在启动器级别配置高级参数,请在"常规"选项卡上单击高级.
继续步骤4.
3在目标级别配置高级参数.
在目标级别,只能为软件和从属硬件iSCSI适配器配置高级参数.
a选择动态发现或静态发现选项卡.
b从可用目标的列表中,选择要配置的目标,然后单击设置>高级.
4为要修改的高级参数输入任何所需值,然后单击确定保存更改.
iSCSI会话管理要相互通信,iSCSI启动器和目标需要建立iSCSI会话.
您可以使用vSphereCLI查看和管理iSCSI会话.
默认情况下,软件iSCSI和从属硬件iSCSI启动器会在每个启动器端口与每个目标端口之间启动一个iSCSI会话.
如果iSCSI启动器或目标有多个端口,则主机可以建立多个会话.
每个目标的默认会话数等于iSCSI适配器上的端口数乘以目标端口数.
您可以显示所有当前会话,以便对它们进行分析和调试.
要创建多条指向存储系统的路径,可以通过复制iSCSI适配器与目标端口之间的现有会话来增大默认会话数.
iSCSISAN配置指南42VMware,Inc.
此外,也可以建立与特定目标端口的会话.
如果主机连接到默认情况下为启动器提供一个目标端口,但可将其他会话重定向到不同目标端口的单端口存储系统,则此操作很有用.
在iSCSI启动器与另一个目标端口之间建立新会话,将创建一条指向存储系统的其他路径.
小心某些存储系统不支持源自同一启动器名称或端点的多个会话.
尝试创建多个与此类目标的会话可能会导致iSCSI环境的行为不可预知.
查看iSCSI会话使用vSphereCLI可显示iSCSI适配器与存储系统之间的iSCSI会话.
步骤1要列出适配器的会话,使用esxcliswiscsisessionlist-dvmhbaXX.
vmhbaXX是iSCSI适配器的名称.
2要列出目标的会话,请使用esxcliswiscsisessionlist-tiqnXX-dvmhbaXX.
iqnXX是iSCSI适配器连接至的目标的名称.
示例2-3查看指定目标的会话#esxcliswiscsisessionlist-tiqn.
2001-05.
com.
equallogic:0-8a0906-cbcde0d02-6a445baadf44ab92-vcli7-dvmhba36为指定目标添加iSCSI会话使用vSphereCLI可为指定的目标添加iSCSI会话.
步骤1要在iSCSI适配器级别添加会话,使用esxcliswiscsisessionadd-dvmhbaXX.
vmhbaXX是iSCSI适配器的名称.
2要在目标级别添加会话,使用esxcliswiscsisessionadd-tiqnXX-dvmhbaXX.
iqnXX是iSCSI适配器连接至的目标的名称.
示例2-4为指定目标添加iSCSI会话#esxcliswiscsisessionadd-tiqn.
2001-05.
com.
equallogic:0-8a0906-42f9b0401-7d40d28af2a4ade1-vcli7-dvmhba36下一步重新扫描iSCSI适配器.
复制iSCSI会话使用vSphereCLI可复制iSCSI适配器与目标之间的iSCSI会话.
通过复制会话,可增大默认会话数并创建指向存储系统的其他路径.
步骤u要复制会话,使用esxcliswiscsisessionadd-dvmhbaXX-tiqnXX-ssession_isid.
nd-iSCSI适配器的名称,如vmhbaXX.
nt-要登录的目标的名称,如iqnXX.
ns-要复制的会话的ISID,如session_isid.
您可以通过列出所有会话来进行查找.
章2配置iSCSI启动器和存储器VMware,Inc.
43示例2-5复制iSCSI会话#esxcliswiscsisessionadd-tiqn.
2001-05.
com.
equallogic:0-8a0906-cbcde0d02-6a445baadf44ab92-vcli7-s'00:02:3d:00:00:01'-dvmhba36下一步重新扫描iSCSI适配器.
删除iSCSI会话使用vSphereCLI可删除iSCSI适配器与目标之间的iSCSI会话.
步骤u要移除会话,使用esxcliswiscsisessionremove.
该命令采用以下选项.
nd-iSCSI适配器的名称,如vmhbaXX.
nt-要登录的目标的名称,如iqnXX.
ns-要复制的会话的ISID,如session_isid.
您可以通过列出所有会话来进行查找.
示例2-6删除iSCSI会话#esxcliswiscsisessionremove-tiqn.
2001-05.
com.
equallogic:0-8a0906-cbcde0d02-6a445baadf44ab92-vcli7-s'00:02:3d:01:00:01'下一步重新扫描iSCSI适配器.
添加iSCSI存储器在iSCSI存储设备上创建数据存储时,添加存储器向导将指导您完成所有配置.
步骤1登录vSphereClient,在"清单"面板中选择服务器.
2单击配置选项卡,然后单击存储器.
3单击添加存储器.
4选择磁盘/LUN存储器类型,然后单击下一步.
此时将显示选择磁盘/LUN页面.
这可能要花几秒钟时间,具体视目标数而定.
5选择要用于数据存储的iSCSI设备,然后单击下一步.
6检查当前磁盘布局,然后单击下一步.
7输入数据存储名称,然后单击下一步.
数据存储名称将显示在vSphereClient中,且标签在当前VMwarevSphere实例中必须是唯一的.
8如果需要的话,请调整用于数据存储的文件系统值和容量.
默认情况下,存储设备上的全部可用空间均可供使用.
9单击下一步.
此时将显示即将完成页面.
10检查数据存储配置信息,然后单击完成.
数据存储现在可以在iSCSI存储设备上使用.
iSCSISAN配置指南44VMware,Inc.
为ESX/ESXi修改SAN存储系统3配置iSCSI启动器和存储器之后,可能需要修改存储系统以确保其能够与ESX/ESXi实施正确地配合使用.
本节将论述支持与VMwareESX/ESXi配合使用的几种iSCSI存储系统.
对于每种设备,本章都将列出主要的已知潜在问题,提供特定于供应商的信息(如果有),或附加VMware知识库文章中的信息.
注意本节中的信息仅随各版本更新.
新的信息或许已可通过其他途径获取.
此外,还有一些其他的iSCSI存储系统也受支持,但本章未对它们进行论述.
请参阅最新的《存储器/SAN兼容性指南》,咨询存储供应商,并浏览VMware知识库文章.
本章讨论了以下主题:n第45页,"测试ESX/ESXiSAN配置"n第46页,"iSCSISAN存储系统的常规注意事项"n第46页,"EMCCLARiiON存储系统"n第47页,"EMCSymmetrix存储系统"n第47页,"使HPStorageWorksMSA1510i能够与ESX/ESXi通信"n第48页,"HPStorageWorksEVA存储系统"n第48页,"NetApp存储系统"n第51页,"EqualLogic存储系统"n第51页,"LeftHandNetworksSAN/iQ存储系统"n第51页,"DellPowerVaultMD3000i存储系统"n第51页,"vApps中的iSCSI目标"测试ESX/ESXiSAN配置ESX/ESXi支持各种具有不同配置的SAN存储系统.
通常,VMware使用支持的存储系统测试ESX/ESXi,测试内容包括基本连接、HBA故障切换等.
并非所有存储设备都针对ESX/ESXi的所有特性和功能进行了认证,供应商可能就ESX/ESXi提供特定形式的支持.
VMware会对使用存储系统的ESX/ESXi进行以下配置测试:基本连接测试ESX/ESXi能否识别存储系统并与存储系统共同运行.
此配置不允许应用多路径或任何类型的故障切换.
iSCSI故障切换服务器配备多个iSCSIHBA或网卡.
服务器在出现HBA或网卡故障时会保证正常运行.
VMware,Inc.
45存储器端口故障切换服务器与多个存储器端口相连,并在发生存储器端口故障和交换机故障时能正常运行.
从SAN引导(仅限ESX主机)ESX主机从SAN上配置的LUN引导而不是从服务器自身引导.
iSCSISAN存储系统的常规注意事项当准备与ESX/ESXi配合使用的iSCSISAN存储系统时,需要遵循适用于所有存储系统的特定常规要求.
对于所有存储系统,存在以下常规要求:nLUN对每台主机的每个HBA呈现的LUNID号都必须相同.
如果使用了不同的号码,则ESX/ESXi主机便识别不出指向同一LUN的不同路径.
有关如何配置相同SANLUNID的具体说明取决于供应商,请参阅存储器文档以获取详细信息.
n除非为本章中所述的单个存储系统指定了主机类型,否则应将呈现给ESX/ESXi的LUN的主机类型设置为Linux或LinuxCluster(如果适用于您的存储系统).
ESX/ESXi用来访问存储系统的方法与Linux访问最兼容,但根据您所使用的存储系统,这种情况可能会有所不同.
n如果使用了vMotion、DRS或HA,则请确保虚拟机的源主机与目标主机都能看到具有相同LUNID的同一LUN.
出于对可能出现数据损坏的担心,SAN管理员可能认为使多个主机看见相同的LUN不合常规.
但是,VMFS可防止多个虚拟机同时对同一文件进行写入,因此给所有需要的ESX/ESXi系统置备LUN是可行的.
n如果没有为正在访问的LUN设置CHAP身份验证,则必须同时禁用ESX/ESXi主机上的CHAP.
否则,存储系统的身份验证会失败,尽管LUN没有CHAP要求.
EMCCLARiiON存储系统EMCCLARiiON存储系统可与采用iSCSISAN配置的ESX/ESXi主机配合使用.
通常,使用EMC软件执行配置操作.
有关详细信息,请参见EMC文档.
这是主动-被动磁盘阵列,因此适用于所有主动-被动磁盘阵列的任何有关问题都是相关的.
此外,请记住以下几点:n为避免发生路径抖动的可能,默认多路径策略为"最近使用",而非"固定".
ESX/ESXi系统在识别存储系统时设置默认策略.
n要从SAN引导,请在HBABIOS中选择主动存储处理器作为引导LUN的目标.
n在EMCCLARiiONAX100i和AX150i系统上,只有在使用NavisphereManagementSuite管理SAN时才支持RDM.
NavisphereExpress不能保证可以正确配置RDM.
要成功使用RDM,给定的LUN必须对群集中所有ESX/ESXi主机呈现相同的LUNID.
默认情况下,AX100i和AX150i不执行此操作.
n使用AX100i或AX150i存储系统时,并无主机代理定期检查主机配置和将更改应用于存储系统.
axnaviserverutilcli实用程序将用于更新所作的更改.
这是一项手动操作,应根据需要执行.
nEMCCLARiiON存储系统上的端口绑定支持需要不同子网中的启动器.
有关其他详细信息,请参见供应商文档.
n要使ESX/ESXi支持使用ALUA的EMCCLARiiON,请检查HCL以确保在存储阵列上使用正确的固件版本.
有关其他信息,请与存储器供应商联系.
iSCSISAN配置指南46VMware,Inc.
EMCSymmetrix存储系统要使用ESX/ESXi,EMCSymmetrix存储系统需要某些特定设置.
使用EMC软件配置存储系统.
有关信息,请参见EMC文档.
要在Symmetrix网络存储系统上执行ESX/ESXi操作,需要以下设置:n公共序列号(C)n启用自动协商(EAN)nSCSI3(SC3)集(已启用)n唯一的全球名称(UWN)n需要SPC-2(Decal)(SPC2)SPC-2标记注意ESX/ESXi主机将来自Symmetrix存储系统、容量不超过50MB的任何LUN均视为管理LUN.
这些LUN也称为伪LUN或网关LUN.
这些LUN可显示在EMCSymmetrixManagementInterface中,并且不应用于保存数据.
使HPStorageWorksMSA1510i能够与ESX/ESXi通信要使HPStorageWorksMSA1510i存储系统能够与ESX/ESXi主机进行通信,必须完成一些设置和配置步骤,本节将介绍这些步骤.
步骤1按照供应商安装文档中的详细说明安装、连接和启动网络设备.
2获取分配给MSA1510i控制器管理端口的IP地址.
a滚动查看液晶面板上的消息,直到显示下列消息:603PortMA0IPaddressb记录MSA1510i基本信息中显示的管理端口IP地址.
3在MSA1510iLAN网段上的服务器或工作站中,打开Web浏览器,然后输入从步骤2中获取的地址.
4出现提示时,输入默认访问权限.
n用户名:rootn密码:root5出现提示时,设置唯一的用户名和密码.
6使用向导完成以下操作.
选项描述存储器配置a设置容错模式(RAID模式).
b根据适当的RAID级别分配备用磁盘.
iSCSI配置(配置iSCSI入口)a选择数据端口.
b为数据端口分配IP地址.
cVLAN在交换机上设置,并用作控制访问存储器的一种方法.
如果使用VLAN,请输入要使用的VLANID(0=不使用).
d向导建议使用默认iSCSI目标名称和iSCSI目标别名.
接受默认值或输入用户定义的值.
注意要配置其余数据端口,请完成初始系统配置向导过程,然后使用配置选项卡上的可用任务.
章3为ESX/ESXi修改SAN存储系统VMware,Inc.
47选项描述登录设置输入登录设置.
管理设置输入管理设置.
7单击完成以应用配置设置.
注意向导仅对于基本配置任务可用.
在管理和配置选项卡中可查看和更改配置.
下一步完成初始设置后,执行以下任务来完成配置:n创建阵列.
n创建逻辑驱动器.
n创建目标.
n创建入口组.
n将使用向导创建的入口与创建的入口组关联起来,或将入口分配到入口组.
n将逻辑驱动器映射到目标.
n添加启动器(启动器IQN名称和别名).
n更新逻辑驱动器的ACL以提供对启动器的访问(选择启动器列表以访问逻辑驱动器).
HPStorageWorksEVA存储系统HPStorageWorksEVA系统的两种类型分别为EVA_GL和EVA_XL,前者为主动-被动系统,后者为主动-主动系统.
对于要与ESX/ESXi配合使用的系统,某些特定设置是必需的.
向ESX/ESXi主机显示LUN时请将连接类型设置为自定义.
请采用以下值之一:n对于HPEVAgl3000/5000(主动-被动),请使用主机模式类型000000002200282E.
n对于HPEVAgl固件4.
001(GL系列的主动-主动固件)及更高版本,使用主机模式类型VMware.
n对于固件版本低于5.
031的EVA4000/6000/8000主动-主动阵列,请使用主机模式类型000000202200083E.
n对于固件版本不低于5.
031的EVA4000/6000/8000主动-主动阵列,请使用主机模式类型VMware.
对于其他情况,EVA系统无需特殊的配置更改即可与ESX/ESXi系统配合使用.
NetApp存储系统要使NetApp存储系统能够在ESX/ESXi环境中进行通信,必须执行特定的配置步骤.
有关NetApp和VMware最佳实践和SAN解决方案的其他文档,请搜索NetApp网页.
表3-1配置步骤配置步骤描述禁用ALUA.
如果任何iSCSI启动器是启动器组(igroup)的一部分,则在NetApp筛选器上禁用ALUA.
设置多路径.
在两个iSCSIHBA之间设置多路径及在NetApp存储系统上设置多个端口时,为这两个HBA提供不同的动态或静态发现地址以连接存储器.
NetApp存储系统仅允许为每个目标和每个启动器建立一个连接.
试图建立更多连接会导致第一个连接断开.
因此,单个HBA不应尝试连接与同一NetApp目标关联的多个IP地址.
iSCSISAN配置指南48VMware,Inc.
表3-1配置步骤(续)配置步骤描述设置LUN类型和启动器组类型.
为存储系统设置适当的LUN类型和启动器组类型:nLUN类型-VMware(如果VMware类型不可用,请使用Linux).
n启动器组类型-VMware(如果VMware类型不可用,请使用Linux).
置备存储器.
使用FilerView或CLI.
使用FilerView存储器管理置备存储器可以使用FilerView在NetApp存储系统上置备存储器.
步骤1登录NetApp存储系统管理(FilerView).
2创建卷.
a选择卷并单击添加.
b单击下一步.
c选择灵活性(默认)或传统,然后单击下一步.
d输入卷名称,选择一种语言,然后单击下一步.
e输入容量总计、卷大小总计和空间保证的值,然后单击下一步.
f单击提交创建卷.
3创建LUN.
a选择LUN,然后单击添加.
b输入以下内容:n路径:输入路径,例如/vol/vol1/lun1.
nLUN协议类型:VMware.
n描述:简要描述.
n大小和单位:输入大小(如10GB),然后选择保留空间.
章3为ESX/ESXi修改SAN存储系统VMware,Inc.
494创建启动器组.
a选择LUN>启动器组,并单击添加.
b输入以下内容:n组名称:输入组名称n类型:选择iSCSI.
n操作系统:输入VMware.
n启动器:输入完全限定启动器名称.
如果有多个启动器,则必须使用回车分隔每个启动器.
c单击添加.
5将LUN映射至启动器组.
a选择LUN并单击管理.
此时将显示LUN列表.
b从该列表中,单击特定LUN的映射行上的标签.
c单击添加要映射的组.
d选择启动器组,并单击添加.
e出现提示时,输入LUNID(从0到255的任意数)并单击应用.
使用命令行界面置备存储器可以使用命令行界面在NetApp存储系统上置备存储器.
步骤1根据需要使用命令行界面创建聚合.
aggrcreatevmware-aggrnumberofdisks2创建灵活卷.
volcreateaggregatenamevolumesize3创建Qtree存储各个LUN.
qtreecreatepath4创建LUN.
luncreate-ssize-tvmwarepath5创建启动器组.
igroupcreate-f-tvmwareigroupname6将LUN映射至已创建的启动器组.
lunmap(path)igroupnameLUNIDiSCSISAN配置指南50VMware,Inc.
EqualLogic存储系统要对即将在ESX/ESXi实施中运行的EqualLogic存储系统进行设置,必须解决某些特定问题.
以下是EqualLogic存储系统与ESX/ESXi配合使用的特定要求:n多路径.
无需进行特殊设置,因为EqualLogic存储系统支持对iSCSI透明的存储处理器故障切换.
多个iSCSIHBA或网卡可连接存储器端的同一目标或LUN.
n创建iSCSILUN.
从EqualLogicWeb入口,右键单击卷,然后选择创建卷.
n对ESX/ESXi硬件iSCSIHBA启用ARP重定向.
nEqualLogic存储系统对每个存储池的iSCSI连接最大限制是512,对每个存储组的iSCSI连接最大限制是2048.
有关配置和使用EqualLogic存储系统的详细信息,请参见供应商文档.
LeftHandNetworksSAN/iQ存储系统SAN/iQSAN支持从软件启动器和硬件启动器连接ESX/ESXiiSCSI.
配置SAN/iQ时,为SAN/iQ存储设备启用自动卷再签名以允许访问SAN/iQ快照和远程副本.
有关为VMwarevSphere配置LeftHandNetworksSAN的详细信息,请参见与VMware有关的供应商文档.
基本配置步骤包括多个任务.
1安装SAN/iQ存储节点.
2创建SAN/iQ管理组和群集.
3创建卷.
4将卷分配给身份验证组和卷列表.
5对硬件iSCSIHBA启用ARP重定向.
最好在SAN/iQ中为所有ESX/ESXi身份验证组配置虚拟IP负载平衡.
DellPowerVaultMD3000i存储系统这些特殊注意事项在为MD3000iiSCSI存储系统配置双向CHAP时适用.
为MD3000iiSCSI阵列配置双向CHAP时,请遵循以下准则:n在MD3000i存储系统上,双向CHAP配置仅需要CHAP密钥.
n在ESX/ESXi主机上,双向CHAP配置需要名称和CHAP密钥.
在ESX/ESXi主机上配置双向CHAP时,将目标的IQN名称作为双向CHAP名称输入.
请确保CHAP密钥与在阵列上设置的密钥相匹配.
vApps中的iSCSI目标如果在虚拟设备(如HPLeftHandP4000VSA)中使用iSCSI目标,则主机应通过软件iSCSI适配器而不是硬件iSCSI适配器连接到该目标.
章3为ESX/ESXi修改SAN存储系统VMware,Inc.
51iSCSISAN配置指南52VMware,Inc.
从iSCSISAN引导4将主机设置为从SAN引导时,主机的引导映像存储在SAN存储系统中的一个或多个LUN上.
主机在启动时,将从SAN上的LUN引导,而不是从其本地磁盘引导.
如果您不想处理本地存储器的维护,或者具有无磁盘硬件配置(如刀片系统),则可以使用从SAN引导.
ESX和ESXi主机支持从SAN引导的不同方法.
表4-1从iSCSISAN引导支持主机类型独立硬件iSCSI软件iSCSI和从属硬件iSCSIESX主机受支持.
从SAN引导需要iSCSIHBA.
不支持.
ESXi主机不支持.
受支持.
网络适配器必须支持iBFT.
从SAN引导主机有许多优点.
n服务器成本更低.
无需内部存储器,可更密集地安置服务器,且运行过程散热也更少.
n服务器更换更方便.
可以更换服务器并将新服务器指向旧的引导位置.
n减少了空间浪费.
n备份过程更轻松.
可作为SAN整体备份过程的一部分来备份SAN中的系统引导映像.
n改善了管理.
创建和管理操作系统映像变得更简单且更高效.
本章讨论了以下主题:n第53页,"关于从iSCSISAN引导的常规建议"n第54页,"准备iSCSISAN"n第54页,"将ESX主机配置为从iSCSISAN引导"n第55页,"iBFTiSCSI引导概览"n第60页,"收集ESXi主机的诊断信息"关于从iSCSISAN引导的常规建议如果您计划将iSCSILUN设置为主机的引导设备并使用它,则您需要遵循某些常规准则.
这些准则适用于从软件和从属iSCSI引导以及从独立硬件iSCSI引导.
n查看供应商针对引导配置中使用的硬件提出的任何建议.
n有关安装必备条件和要求,请查看相应的ESX/ESXi安装指南.
n使用静态IP地址以减少出现DHCP冲突的机会.
VMware,Inc.
53n对VMFS数据存储和引导分区使用不同的LUN.
n在存储系统上配置正确的ACL.
n引导LUN只应对使用该LUN的主机可见.
不应允许SAN上的其他任何主机看到该引导LUN.
n如果LUN用于VMFS数据存储,则可由多个主机共享.
存储系统上的ACL可允许您这样做.
n配置诊断分区.
n可以将诊断分区放置在引导LUN上(仅适用于独立硬件iSCSI).
如果配置引导LUN中的诊断分区,则此LUN不能在多个主机中共享.
如果某个单独的LUN用于诊断分区,则该LUN可由多个主机共享.
n如果使用iBFT从SAN引导ESXi主机,则不能在SANLUN上设置诊断分区.
而是应改用vSphereManagementAssistant(vMA)从主机中收集诊断信息,并存储这些信息以进行分析.
请参见第60页,"收集ESXi主机的诊断信息".
准备iSCSISAN在将ESX/ESXi主机配置为从iSCSILUN引导之前,需要准备并配置存储区域网络.
小心如果从SAN引导时使用脚本式安装来安装ESX,则必须执行特殊步骤以避免数据意外丢失.
步骤1请参见适用于您的设置的任何线缆连接指南,连接网络线缆.
2确保存储系统与服务器之间的IP连接的正确性.
这包括正确配置存储网络上的任何路由器或交换机.
存储系统必须能够ping主机中的iSCSI适配器.
3配置存储系统.
a在存储系统上创建要从中引导主机的卷(或LUN).
b配置存储系统,以便主机能够访问所分配的LUN.
这可能涉及到用主机上所使用的IP地址、iSCSI名称和CHAP身份验证参数来更新ACL.
在某些存储系统上,除了提供ESX/ESXi主机的访问信息外,还必须将分配的LUN与主机显式关联起来.
c确保已将LUN正确提供给主机.
d确保没有其他系统能够访问配置的LUN.
e记下分配给主机的目标的iSCSI名称和IP地址.
您必须使用此信息来配置iSCSI适配器.
将ESX主机配置为从iSCSISAN引导仅当ESX主机使用了独立硬件iSCSI适配器(例如QLogicHBA)时,才能使用该主机从iSCSISAN引导.
需要配置独立硬件iSCSI适配器以从SAN引导.
此过程讨论如何启用QLogiciSCSIHBA以从SAN引导.
有关详细信息以及有关QLogic适配器配置设置的最新详细信息,请参见QLogic网站.
前提条件由于您先需要从VMware安装介质引导,因此,请将主机设置为从DVD-ROM引导.
为此,请在系统BIOS设置中更改系统引导顺序.
iSCSISAN配置指南54VMware,Inc.
步骤1将安装DVD插入到DVD-ROM驱动器中,然后重新引导主机.
2先使用BIOS将主机设置为从DVD-ROM驱动器引导.
3在服务器开机自检(POST)期间,按Crtl+q进入QLogiciSCSIHBA配置菜单.
4选择要配置的I/O端口.
默认情况下,适配器引导模式设置为"禁用".
5配置HBA.
a在Fast!
UTIL选项菜单中,选择配置设置>主机适配器设置.
b为主机适配器配置以下设置:启动器IP地址、子网掩码、网关、启动器iSCSI名称和CHAP(如果需要).
6配置iSCSI设置.
请参见第55页,"配置iSCSI引导设置".
7保存更改并重新启动系统.
配置iSCSI引导设置将ESX主机设置为从iSCSI引导时,需要配置iSCSI引导设置.
步骤1在Fast!
UTIL选项菜单中,选择配置设置>iSCSI引导设置.
2必须先将适配器引导模式设置为手动才能设置SendTargets.
3选择主要引导设备设置.
a输入发现目标IP和目标端口.
b如果指定地址只有一个要从其中引导的iSCSI目标和LUN,则可将引导LUN和iSCSI名称字段留空.
否则,必须指定这些字段以确保不会从某个其他系统的卷进行引导.
到达目标存储系统之后,这些字段将在重新扫描后进行填充.
c保存更改.
4在iSCSI引导设置菜单中,选择主要引导设备.
此时将自动重新扫描HBA以查找新的目标LUN.
5选择iSCSI目标.
注意如果目标内存在多个LUN,则可在找到iSCSI设备之后按Enter来选择特定LUNID.
6返回至主要引导设备设置菜单.
重新扫描后,引导LUN和iSCSI名称字段将被填充.
将引导LUN的值更改为所需的LUNID.
iBFTiSCSI引导概览可以使用软件或从属硬件iSCSI适配器和网络适配器从iSCSISAN引导ESXi主机.
要部署ESXi并从iSCSISAN引导,主机必须具备可支持iSCSI引导固件表(iBFT)格式的能够进行iSCSI引导的网络适配器.
iBFT是一种将iSCSI引导设备的相关参数传递到操作系统的方法.
在安装ESXi并从iSCSISAN引导之前,请先配置网络适配器上的网络参数和iSCSI引导参数,并启用此适配器以进行iSCSI引导.
由于配置网络适配器因供应商而异,因此,请查看供应商文档来了解相关说明.
首次从iSCSI引导时,系统上的iSCSI引导固件将连接到iSCSI目标.
如果登录成功,则固件会将网络和iSCSI引导参数保存到iBFT,并将该表存储在系统内存中.
系统可使用此表配置其自己的iSCSI连接和网络并启动.
章4从iSCSISAN引导VMware,Inc.
55以下列表介绍了iBFTiSCSI引导顺序.
1重新启动后,系统BIOS将检测网络适配器上的iSCSI引导固件.
2iSCSI引导固件使用预先配置的引导参数与指定的iSCSI目标连接.
3如果成功连接到iSCSI目标,则iSCSI引导固件会将网络参数和iSCSI引导参数写入iBFT,并将该表存储在系统内存中.
注意系统可使用此表配置其自己的iSCSI连接和网络并启动.
4BIOS将引导引导设备.
5VMkernel则开始加载并取代引导操作.
6VMkernel使用iBFT中的引导参数连接到iSCSI目标.
7iSCSI连接建立后,系统将进行引导.
iBFTiSCSI引导注意事项使用已启用iBFT的网络适配器从iSCSI引导ESXi主机时,有几点需要特别注意.
iBFTiSCSI引导不支持以下各项:nIPv6n为已启用iBFT的网络适配器进行故障切换注意在尝试安装和引导VMwareESXi4.
1版本之前,先使用供应商提供的工具更新网卡的引导代码和iBFT固件.
请查看供应商文档和VMwareHCL指南,获取VMwareESXi4.
1iBFT引导支持的引导代码和iBFT固件版本.
供应商在ESXi4.
1版本之前发布的引导代码和iBFT固件可能不起作用.
将主机设置为从iBFTiSCSI引导后,您必须注意以下限制:n不能禁用软件iSCSI适配器.
如果BIOS中存在iBFT配置,则主机会在每次重新引导的过程中重新启用软件iSCSI适配器.
n不能使用vSphereClient来移除iBFTiSCSI引导目标.
该目标将在适配器静态目标列表中显示.
将ESXi主机设置为从iSCSI引导对于ESXi主机,可以使用软件iSCSI适配器或者从属硬件iSCSI适配器和网络适配器从iSCSI引导.
将主机设置为从iSCSI引导时,需要执行多项任务.
1配置iSCSI引导参数第57页,要开始iSCSI引导过程,主机上的网络适配器必须具有专门配置的iSCSI引导固件.
配置该固件时,需要指定网络参数和iSCSI参数,并启用适配器以进行iSCSI引导.
2在BIOS中更改引导顺序第57页,将主机设置为从iBFTiSCSI引导后,可以更改引导顺序来强制主机按相应的顺序进行引导.
3将ESXi安装到iSCSI目标第57页,将主机设置为从iSCSI引导时,需要将ESXi映像安装到目标LUN.
4从iSCSI目标引导ESXi第58页,在准备好主机以进行iSCSI引导并将ESXi映像复制到iSCSI目标之后,可以执行实际引导.
iSCSISAN配置指南56VMware,Inc.
配置iSCSI引导参数要开始iSCSI引导过程,主机上的网络适配器必须具有专门配置的iSCSI引导固件.
配置该固件时,需要指定网络参数和iSCSI参数,并启用适配器以进行iSCSI引导.
网络适配器上的配置可以是动态的,也可以是静态的.
如果使用动态配置,则指示所有目标和启动器引导参数都将使用DHCP获得.
对于静态配置,需要手动输入包括主机的IP地址和启动器IQN在内的数据以及目标参数.
步骤u在用于从iSCSI引导的网络适配器上,指定网络和iSCSI参数.
由于配置网络适配器因供应商而异,因此,请查看供应商文档来了解相关说明.
在BIOS中更改引导顺序将主机设置为从iBFTiSCSI引导后,可以更改引导顺序来强制主机按相应的顺序进行引导.
对于ESXi安装,将BIOS引导顺序更改为以下顺序:niSCSInDVD-ROM由于在BIOS中更改引导顺序因供应商而异,因此,请参考供应商文档来了解相关说明.
以下示例步骤介绍了如何在使用Broadcom网络适配器的Dell主机上更改引导顺序.
步骤1打开该主机.
2在开机自检(POST)期间,按F2进入BIOSSetup.
3在BIOSSetup中,选择BootSequence,然后按Enter.
4在BootSequence菜单中,排列可引导项,以便iSCSI优先于DVD-ROM.
5按Esc退出BootSequence菜单.
6按Esc退出BIOSSetup.
7选择SaveChanges,然后单击Exit退出BIOSSetup菜单.
将ESXi安装到iSCSI目标将主机设置为从iSCSI引导时,需要将ESXi映像安装到目标LUN.
前提条件n将引导网卡上的iSCSI引导固件配置为指向要用作引导LUN的目标LUN.
n在BIOS中更改引导顺序,以便iSCSI优先于DVD-ROM.
n如果使用Broadcom适配器,请将引导至iSCSI目标设置为已禁用.
步骤1将安装介质插入到DVD-ROM驱动器中,然后重新启动主机.
2当安装程序启动时,遵循一般安装过程.
3出现提示时,选择iSCSILUN作为安装目标.
安装程序将ESXi引导映像复制到iSCSILUN中.
4系统重新启动后,取出安装DVD.
章4从iSCSISAN引导VMware,Inc.
57从iSCSI目标引导ESXi在准备好主机以进行iSCSI引导并将ESXi映像复制到iSCSI目标之后,可以执行实际引导.
前提条件n将引导网卡上的iSCSI引导固件配置为指向引导LUN.
n在BIOS中更改引导顺序,以便iSCSI优先于引导设备.
n如果使用Broadcom适配器,请将引导至iSCSI目标设置为已启用.
步骤1重新启动主机.
主机使用iBFT数据从iSCSILUN引导.
首次引导过程中,iSCSI初始化脚本将设置默认网络.
在后续重新引导后,网络设置仍持久有效.
2(可选)使用vSphereClient调整网络配置.
网络最佳做法要使用iBFT从iSCSI引导ESXi主机,必须正确配置网络.
为了获得更好的安全性和更佳性能,主机上需要有冗余网络适配器.
设置所有网络适配器的方式取决于您的环境是使用共享网络,还是使用隔离网络传输iSCSI流量和主机管理流量.
共享iSCSI网络和管理网络在主机的第一个网络适配器上配置网络参数和iSCSI参数.
主机引导后,可以将辅助网络适配器添加到默认的端口组.
隔离iSCSI网络和管理网络配置隔离iSCSI网络和管理网络时,请遵循以下准则来避免出现带宽的问题.
n隔离网络必须位于不同的子网上.
n如果使用VLAN隔离网络,那么它们必须具有不同的子网来确保能够正确设置路由表.
nVMware建议您将iSCSI适配器和iSCSI目标配置到相同子网上.
如果将iSCSI适配器和目标设置到不同的子网上,您必须注意以下限制:n默认的VMkernel网关必须能够路由管理流量和iSCSI流量.
n引导ESXi主机后,只能将启用了iBFT的网络适配器用于iBFT.
不能将此适配器用于iSCSI流量.
n将第一个物理网络适配器用于管理网络.
n将第二个物理网络适配器用于iSCSI网络.
确保配置iBFT.
n主机引导后,可以将辅助网络适配器添加到管理网络和iSCSI网络.
iSCSISAN配置指南58VMware,Inc.
更改iBFTiSCSI引导设置如果iSCSI存储器或主机上的IQN名称、IP地址等设置更改,则需要更新iBFT.
此任务假定引导LUN和该LUN上存储的数据保持原样.
步骤1关闭ESXi主机.
2更改iSCSI存储器设置.
3使用新设置更新主机上的iBFT.
4重新启动主机.
主机使用iBFT中存储的新信息进行引导.
对iBFTiSCSI引导进行故障排除本节中的主题帮助您标识和解决使用iBFTiSCSI引导时可能会遇到的问题.
系统网关丢失导致网络连接丢失在删除与iBFT网络适配器关联的端口组时丢失网络连接.
问题删除端口组后丢失网络连接.
原因安装ESXi期间,如果在启用了iBFT的网络适配器中指定一个网关,则此网关将成为系统默认网关.
如果删除与该网络适配器关联的端口组,系统默认网关将丢失.
此操作导致网络连接丢失.
解决方案除非需要,否则不要设置iBFT网关.
如果需要此网关,安装后请手动将系统默认网关设置为管理网络使用的网关.
更改iSCSI引导参数导致ESXi在无状态模式下引导首次引导后更改网络适配器上的iSCSI引导参数不会更新ESXi主机上的iSCSI和网络配置.
问题如果在首次从iSCSI引导ESXi主机后更改了网络适配器上的iSCSI引导参数,则主机将在无状态模式下进行引导.
原因固件使用已更新的引导配置,且能够连接到iSCSI目标并加载ESXi映像.
但加载时,系统不使用新的参数,而是继续使用上次引导时所使用的网络参数和iSCSI参数.
因此,ESXi主机无法连接到目标并在无状态模式下引导.
解决方案1使用vSphereClient连接到ESXi主机.
2重新配置主机上的iSCSI参数和网络参数,以与iBFT参数相匹配.
3执行重新扫描.
章4从iSCSISAN引导VMware,Inc.
59收集ESXi主机的诊断信息如果使用iBFT从SAN引导,且ESXi主机没有本地诊断分区,那么,您需要设置vSphereManagementAssistant(vMA)来从主机中收集诊断信息,并存储这些信息以进行分析.
如果ESXi主机出现严重问题,它会创建一个文件,其中包含可供日后进行分析以确定问题原因的诊断信息.
可以设置ESXi主机,以将其用作在网络上传输诊断文件的网络转储客户端.
vMA则用作网络转储服务器来收集诊断信息,并将这些信息保存到服务器上的/var/core中的网络转储服务器.
设置网络转储环境时,请遵循以下准则:n不要将vMA安装在设置网络转储客户端的同一物理主机上.
n如果有多个ESXi主机需要配置网络转储,应分别配置每个主机.
一个vMA实例足够用来从多个ESXi主机中收集核心转储文件.
配置vSphereManagementAssistantvSphereManagementAssistant(vMA)是一个虚拟机,可对其进行配置使之充当从ESXi主机中收集诊断信息的网络转储服务器.
前提条件在不同于设置为网络转储客户端的物理服务器上部署并配置vMA.
有关信息,请参见http://www.
vmware.
com/support/pubs上的《vSphereManagementAssistant指南》.
步骤1以管理员身份登录vMA.
2在vMA上启用网络转储服务器.
#sudochkconfigvmware-netdumperon3启动网络转储服务器.
#sudo/etc/init.
d/vmware-netdumperstart#sudolokkit--quiet--port=6500:udp配置ESXi主机可以配置ESXi主机,以便它充当通过网络传输诊断信息的网络转储客户端.
使用vSphereCLI配置ESXi主机.
前提条件将vMA配置为网络转储服务器并获取其IP地址.
步骤1输入ESXi主机的IP地址.
#esxcfg-advcfg-sIP_address_ESXi/Net/NetdumpVmkIP2指定要使用的网络适配器.
#esxcfg-advcfg-svmnic/Net/NetdumpVmkNic3指定附加到网络适配器的端口组.
#esxcfg-advcfg-sportgroup/Net/NetdumpVmkPGiSCSISAN配置指南60VMware,Inc.
4指定网络转储服务器的IP地址.
#esxcfg-advcfg-sIP_address_netdump/Net/NetdumpServerIP5(可选)输入可访问网络转储服务器的网关的IP地址.
#esxcfg-advcfg-sIP_address_gateway/Net/NetdumpServerGateway章4从iSCSISAN引导VMware,Inc.
61iSCSISAN配置指南62VMware,Inc.
管理使用SAN存储器的ESX/ESXi系统5本节可在管理ESX/ESXi系统、有效使用SAN存储器以及执行故障排除方面为您提供帮助.
另外,本节还将说明如何查找有关存储设备、适配器及多路径等的信息.
本章讨论了以下主题:n第63页,"查看存储适配器信息"n第64页,"查看存储设备信息"n第66页,"查看数据存储信息"n第67页,"解决存储显示问题"n第71页,"路径扫描和声明"n第76页,"共享诊断分区"n第76页,"避免和解决SAN问题"n第76页,"优化SAN存储器性能"n第79页,"解决性能问题"n第82页,"SAN存储器备份注意事项"n第84页,"管理重复VMFS数据存储"n第86页,"存储硬件加速"查看存储适配器信息在vSphereClient中,可以显示主机使用的存储适配器并检查其信息.
列出所有可用适配器后,可以查看其型号、类型(如光纤通道、并行SCSI或iSCSI)及其唯一标识符(如果可用).
iSCSI适配器将iSCSI名称用作唯一标识符.
显示每个iSCSI适配器的详细信息时,可了解以下信息.
需要先配置或启用软件iSCSI和从属硬件iSCSI适配器后才能查看其信息.
表5-1存储适配器信息适配器信息描述型号适配器的型号.
iSCSI名称根据标识iSCSI适配器的iSCSI标准形成的唯一名称.
iSCSI别名用以替代iSCSI名称的友好名称.
VMware,Inc.
63表5-1存储适配器信息(续)适配器信息描述IP地址(独立硬件iSCSI)分配到iSCSI适配器的地址.
已连接的目标通过适配器访问的目标数.
设备适配器可以访问的所有存储设备或LUN.
路径适配器用于访问存储设备的所有路径.
查看存储适配器信息使用vSphereClient显示存储适配器,并查看其信息.
步骤1在"清单"中,选择主机和群集.
2选择主机,然后单击配置选项卡.
3在"硬件"中,选择存储适配器.
4要查看特定适配器的详细信息,请从"存储适配器"列表中选择适配器.
5要列出适配器可以访问的所有存储设备,请单击设备.
6要列出适配器使用的所有路径,请单击路径.
将存储适配器名称复制到剪贴板可以直接从UI将适配器的名称复制到剪贴板.
步骤1在"清单"中,选择主机和群集.
2选择主机,然后单击配置选项卡.
3在"硬件"中,选择存储适配器.
4从"存储适配器"列表中选择适配器.
5在"详细信息"面板中,突出显示名称字段中的值,并从右键单击菜单中选择复制.
查看存储设备信息可以使用vSphereClient显示主机可用的所有存储设备或LUN,包括所有本地和联网的设备.
如果使用任何第三方多路径插件,则通过插件可用的存储设备也将出现在列表上.
对于每个存储适配器,可以显示仅通过此适配器可访问的存储设备的单独列表.
在检查存储设备的列表时,通常可以看到以下信息.
表5-2存储设备信息设备信息描述名称主机根据存储器类型和制造商为设备分配的友好名称.
可以根据需要更改此名称.
标识符通用唯一标识符是存储设备的固有名称.
运行时名称设备第一条路径的名称.
LUN显示目标中LUN位置的LUN号.
类型设备类型,例如,磁盘或CD-ROM.
传输主机用于访问设备的传输协议.
iSCSISAN配置指南64VMware,Inc.
表5-2存储设备信息(续)设备信息描述容量存储设备的总容量.
所有者主机用于管理存储设备的插件(如NMP或第三方插件).
硬件加速有关存储设备是否帮助主机执行各种虚拟机管理操作的信息.
状态可以为"支持"、"不支持"或"未知".
位置指向/vmfs/devices/目录中存储设备的路径.
分区主分区和逻辑分区,包括VMFS数据存储(如果已配置).
了解存储设备命名在vSphereClient中,每个存储设备或LUN均由多个名称进行标识.
名称主机根据存储器类型和制造商分配给设备的友好名称.
您可以使用vSphereClient修改名称.
标识符主机从存储器提取的通用唯一标识符.
根据存储器的类型,主机使用不同算法提取标识符.
运行时名称设备第一条路径的名称.
运行时名称由主机创建.
此运行时名称不是设备的可靠标识符,并不持久.
运行时名称具有以下格式:vmhba#:C#:T#:L#,其中nvmhba#是存储适配器的名称.
此名称指的是主机上的物理适配器,而不是由虚拟机使用的SCSI控制器.
nC#是存储器通道号.
软件iSCSI启动器使用通道号来显示指向同一目标的多个路径.
nT#是目标号.
目标编号由主机决定,可能会在对于主机可见的目标的映射更改时发生变化.
由不同主机共享的目标可能没有相同的目标号.
nL#是显示目标中LUN位置的LUN号.
LUN号由存储系统提供.
如果目标只有一个LUN,则LUN号始终为零(0).
例如,vmhba1:C0:T3:L1表示通过存储适配器vmhba1和通道0访问的目标3上的LUN1.
显示主机的存储设备可以使用vSphereClient显示主机可用的所有存储设备或LUN,包括所有本地和联网的设备.
如果使用任何第三方多路径插件,则通过插件可用的存储设备也将出现在列表上.
步骤1在"清单"中,选择主机和群集.
2选择主机,然后单击配置选项卡.
3在"硬件"中,选择存储器.
4单击设备.
5要查看有关特定设备的其他详细信息,请从列表中选择设备.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
65显示适配器的存储设备对于主机上的每个存储适配器,可以显示只有通过此适配器才可访问的存储设备的列表.
步骤1在"清单"中,选择主机和群集.
2选择主机,然后单击配置选项卡.
3在"硬件"中,选择存储适配器.
4从"存储适配器"列表中选择适配器.
5单击设备.
将存储设备标识符复制到剪贴板存储设备标识符是主机分配给存储设备或LUN的通用唯一ID.
根据存储器的类型,主机使用不同的算法创建标识符,标识符可以很长很复杂.
可以直接从UI复制存储设备标识符.
步骤1显示存储设备的列表.
2右键单击设备,然后选择将标识符复制到剪贴板.
查看数据存储信息可以显示对主机可用的所有数据存储,并分析其属性.
可使用以下方式将数据存储添加到vSphereClient中:n在可用存储设备上创建.
n当主机添加到清单时发现.
将主机添加到清单中时,vSphereClient将显示对主机可用的任何数据存储.
如果vSphereClient连接到vCenterServer系统,则可以在"数据存储"视图中查看数据存储信息.
此视图按数据中心显示清单中所有的数据存储.
通过此视图,可以将数据存储组织到文件夹层次结构中,创建新数据存储,编辑其属性,或移除现有数据存储.
此视图可全面显示数据存储的所有信息,包括使用数据存储的主机和虚拟机、存储报告信息、权限、警报、任务与事件、存储拓扑以及存储报告.
"数据存储"视图的"配置"选项卡上提供连接到此数据存储的所有主机上的每个数据存储的配置详细信息.
注意vSphereClient直接连接到主机时,"数据存储"视图不可用.
在这种情况下,通过主机存储配置选项卡检查数据存储信息.
下表说明查看数据存储时显示的数据存储详细信息.
表5-3数据存储信息数据存储信息描述标识分配给数据存储的可编辑的友好名称.
设备在其上部署了数据存储的存储设备.
如果数据存储跨多个存储设备,则只显示第一个存储设备.
容量数据存储的总格式化容量.
可用空间可用空间.
类型数据存储使用的文件系统,可能是VMFS或NFS.
iSCSISAN配置指南66VMware,Inc.
表5-3数据存储信息(续)数据存储信息描述存储I/O控制允许对群集范围的存储I/O进行优化.
请参见《vSphere资源管理指南》.
硬件加速有关数据存储是否帮助主机执行各种虚拟机管理操作的信息.
状态可以为"支持"、"不支持"或"未知".
位置指向/vmfs/volumes/目录中数据存储的路径.
数据区数据存储跨越的各个数据区及其容量(仅VMFS数据存储).
路径选择主机用于访问存储(仅限VMFS数据存储)的路径选择策略.
路径用于访问存储及其状态(仅限VMFS数据存储)的路径数目.
检查数据存储属性使用vSphereClient检查数据存储属性.
步骤1在清单中选择主机,然后单击配置选项卡.
2在"硬件"中,选择存储器.
3单击数据存储视图.
4要显示特定数据存储的详细信息,请从列表中选择数据存储.
解决存储显示问题当使用vSphereClient查看ESX/ESXi主机可用的存储设备时,如果输出与您的期望有所不同,请执行故障排除任务.
如果存在显示问题,请执行以下故障排除任务.
表5-4排除iSCSILUN显示故障故障排除任务描述检查线缆连接.
如果看不到端口,问题可能在于线缆连接或路由.
请先检查线缆.
请确保线缆已连接端口,且链路指示灯表示连接良好.
如果线缆任意一端的链路指示灯未显示连接良好,请更换线缆.
检查路由设置.
控制以太网配置上的不同子网间的连接.
如果ESX/ESXi系统和iSCSI存储器不在同一个子网上,请确保这些子网间存在适当路由.
此外,还需确保在iSCSI存储器和ESX/ESXi主机中的iSCSI启动器上设置了正确的子网掩码和网关地址.
检查访问控制配置.
如果重新扫描后未显示预期的LUN,则存储系统端可能未正确配置访问控制:n如果配置了CHAP,请确保ESX/ESXi主机上也启用了CHAP,并与存储系统设置相匹配.
n如果使用基于IP的筛选,请确保允许iSCSIHBA或VMkernel端口组IP地址和服务控制台IP地址.
n如果使用基于启动器名称的筛选,请确保该名称是符合要求的iSCSI名称,并与存储系统设置相匹配.
n要从SAN引导,请确保每台主机只会看到所需的LUN.
不要让任何主机看到不归其所有的任何引导LUN.
使用存储系统软件确保主机只能看到应对其可见的LUN.
n确保通过Disk.
MaxLUN设置可查看预期为可见的LUN.
检查存储处理器设置.
如果存储系统有多个存储处理器,请确保SAN交换机连接了要访问的LUN所属的SP.
在某些存储系统上,仅有一个SP为主动,而另一SP在发生故障之前是被动的.
如果连接错误的SP(对应被动路径的SP),则您可能看不到预期的LUN,或可能看到了LUN,但在尝试进行访问时出错.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
67表5-4排除iSCSILUN显示故障(续)故障排除任务描述对于软件iSCSI,请检查网络配置.
ESX/ESXi中的软件iSCSI启动器要求VMkernel网络端口对iSCSI存储器具有访问权限.
该软件启动器使用VMkernel在ESX/ESXi系统与iSCSI存储器之间传输数据.
重新扫描iSCSI启动器.
在每次完成以下任务时,执行重新扫描:n在SAN上创建新LUN.
n更改ESX/ESXi主机存储系统上的LUN屏蔽.
n重新连接线缆.
n对群集中的主机进行更改.
n更改CHAP设置或添加新发现地址.
数据存储刷新和存储重新扫描操作数据存储刷新操作可更新vSphereClient中显示的数据存储列表和存储信息(例如数据存储容量).
执行数据存储管理任务或者在SAN配置中进行更改时,可能需要重新扫描存储器.
执行VMFS数据存储管理操作时,例如创建VMFS数据存储或RDM、添加数据区和增加或删除VMFS数据存储,主机或vCenterServer将自动重新扫描和更新存储器.
可以通过关闭"主机重新扫描筛选器"来禁用自动重新扫描功能.
请参见第70页,"关闭vCenterServer存储筛选器".
在某些情况下,需要执行手动重新扫描.
可以重新扫描您的主机可用的所有存储器,或者如果使用的是vCenterServer,则可以重新扫描文件夹、群集和数据中心中的所有主机可用的所有存储器.
如果进行的更改只针对通过特定适配器连接的存储器,则需要重新扫描此适配器.
每次进行以下更改之一后请手动执行重新扫描:n在SAN上创建新LUN.
n更改主机上的路径屏蔽.
n重新连接线缆.
n更改CHAP设置.
n添加或移除发现或静态地址.
n在vCenterServer中编辑或移除由vCenterServer主机和单台主机共享的数据存储之后,向vCenterServer中添加该单台主机.
重要事项如果在某条路径不可用时重新扫描,则主机将从到设备的路径的列表中移除该路径.
当该路径再次变得可用并且开始工作时,会立即重新显示在列表中.
执行存储重新扫描在SAN配置中进行更改后,可能需要重新扫描存储器.
您可以重新扫描主机可用的所有存储.
如果进行的更改只针对通过特定适配器访问的存储器,则只重新扫描此适配器.
如果只需要重新扫描特定主机可用的存储器或通过主机上的特定适配器访问的存储器,请使用此步骤.
如果要重新扫描由vCenterServer系统管理的所有主机可用的存储,则可以通过右键单击包含这些主机的数据中心、群集或文件夹并选择重新扫描数据存储来执行此操作.
iSCSISAN配置指南68VMware,Inc.
步骤1在vSphereClient中,选择一台主机,然后单击配置选项卡.
2在"硬件"面板中,选择存储适配器,然后单击"存储适配器"面板上方的重新扫描.
也可右键单击一个适配器,并单击重新扫描只对该适配器进行重新扫描.
重要事项在ESXi上,不可能重新扫描单个存储适配器.
如果重新扫描单个适配器,则所有适配器都会进行重新扫描.
3要发现新的磁盘或LUN,请选择扫描新的存储设备.
新发现的LUN将显示在设备列表上.
4要发现新的数据存储或在其配置更改后更新数据存储,请选择扫描新的VMFS卷.
发现的新数据存储或VMFS卷将出现在数据存储列表上.
更改扫描的LUN数目默认情况下,VMkernel从每一目标的LUN0扫描到LUN255(总共256个LUN).
可以修改Disk.
MaxLUN参数以提升发现LUN的速度.
重要事项无法发现LUNID号大于255的LUN.
减小该值可缩短重新扫描时间和引导时间.
但是,重新扫描LUN所需的时间可能取决于其他因素,其中包括存储系统类型以及是否启用了稀疏LUN支持.
步骤1在vSphereClient清单面板中,选择主机,然后依次单击"软件"下的配置选项卡和高级设置.
2选择磁盘.
3向下滚动至Disk.
MaxLUN.
4将现有值更改为所选的值,并单击确定.
输入的值会将LUN指定为要发现的最后一个LUN的后面一个.
例如,要发现0到31的LUN,则将Disk.
MaxLUN设置为32.
禁用稀疏LUN支持可以禁用默认稀疏LUN支持以减少ESX/ESXi扫描LUN所需的时间.
VMkernel默认提供稀疏LUN支持.
稀疏LUN支持使VMkernel在存储系统显示非顺序编号的LUN(例如0、6和23)时可以执行不中断的LUN扫描.
如果存储系统显示的所有LUN均为顺序编号,则可以禁用稀疏LUN支持.
步骤1在vSphereClient清单面板中,选择主机,然后依次单击"软件"下的配置选项卡和高级设置.
2在"高级设置"对话框中,选择磁盘.
3向下滚动至Disk.
SupportSparseLUN,将值更改为0,然后单击确定.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
69关闭vCenterServer存储筛选器在执行VMFS数据存储管理操作时,vCenterServer使用默认存储筛选器.
这些筛选器可以仅检索可用于特定操作的存储设备或LUN,从而能更有效地避免存储设备损坏.
不适合的LUN不会显示出来供选择.
可以关闭筛选器来查看所有LUN.
在对LUN筛选器进行任何更改之前,请咨询VMware支持团队.
仅当您有其他方法来防止LUN损坏时,才可关闭筛选器.
步骤1在vSphereClient中,选择管理>vCenterServer设置.
2在设置列表中,选择高级设置.
3在键文本框中,键入键.
键筛选器名称config.
vpxd.
filter.
vmfsFilterVMFS筛选器config.
vpxd.
filter.
rdmFilterRDM筛选器config.
vpxd.
filter.
SameHostAndTransportsFilter相同主机和传输筛选器config.
vpxd.
filter.
hostRescanFilter主机重新扫描筛选器注意如果关闭"主机重新扫描筛选器",则每次将一个新的LUN提供给主机或群集时,主机仍继续执行重新扫描.
4在值文本框中,为指定的键键入False.
5单击添加.
6单击确定.
无需重新启动vCenterServer系统.
vCenterServer存储筛选vCenterServer提供存储筛选器,来帮助您避免由于使用不支持的LUN可能导致的存储设备损坏或性能下降.
默认情况下,这些筛选器可用.
表5-5存储筛选器筛选器名称描述键VMFS筛选器筛选出在vCenterServer管理的任何主机上已由VMFS数据存储使用的存储设备或LUN.
LUN不会以要格式化为另一个VMFS数据存储或要用作RDM的候选者的身份显示.
config.
vpxd.
filter.
vmfsFilterRDM筛选器筛选出在vCenterServer管理的任何主机上已由RDM引用的LUN.
LUN不会以要格式化为VMFS或要供其他RDM使用的候选者的身份显示.
如果需要虚拟机访问相同的LUN,则虚拟机必须共享相同的RDM映射文件.
有关此类配置的信息,请参阅《故障切换群集和Microsoft群集服务的设置》.
config.
vpxd.
filter.
rdmFilteriSCSISAN配置指南70VMware,Inc.
表5-5存储筛选器(续)筛选器名称描述键相同主机和传输筛选器筛选出由于主机或存储类型不兼容而不适合用作VMFS数据存储区的LUN.
防止将以下LUN添加为数据区:n未对共享原始VMFS数据存储的所有主机公开的LUN.
n使用不同于原始VMFS数据存储使用的存储类型的LUN.
例如,无法将光纤通道数据区添加到本地存储设备上的VMFS数据存储.
config.
vpxd.
filter.
SameHostAndTransportsFilter主机重新扫描筛选器在执行数据存储管理操作之后,自动重新扫描和更新VMFS数据存储.
该筛选器可帮助提供vCenterServer管理的所有主机上的所有VMFS数据存储的一致视图.
注意如果将一个新的LUN提供给主机或群集,则无论是否打开了"主机重新扫描筛选器",主机都会自动执行重新扫描.
config.
vpxd.
filter.
hostRescanFilter路径扫描和声明启动ESX/ESXi主机或重新扫描存储适配器时,主机会发现它可以使用的存储设备的所有物理路径.
根据/etc/vmware/esx.
conf文件中所定义的一组声明规则,主机会确定应声明特定设备路径并负责管理该设备的多路径支持的多路径插件(MPP).
默认情况下,主机每5分钟执行一次定期路径评估,从而促使相应MPP声明任何尚未声明的路径.
对声明规则进行了编号.
对于每个物理路径,主机都通过声明规则运行,首先从最小编号开始.
然后,会将物理路径的属性与声明规则中的路径规范进行比较.
如果二者匹配,主机会分配声明规则中指定的一个MPP来管理物理路径.
此过程将持续到所有物理路径均由相应MPP(第三方多路径插件或本机多路径插件(NMP))声明后才结束.
有关多路径插件的一般信息,请参见第18页,"管理多路径".
对于由NMP模块管理的路径,将应用第二组声明规则.
这些规则确定哪些存储阵列类型插件(SATP)应当用于管理特定阵列类型的路径,以及哪些路径选择插件(PSP)用于各个存储设备.
例如,对于属于EMCCLARiiONCX存储系列并且未配置为ALUA设备的存储设备,默认SATP是VMW_SATP_CX,默认PSP是"最近使用".
使用vSphereClient查看主机用于特定存储设备的SATP和PSP,以及该存储设备的所有可用路径的状态.
如果需要,可以使用vSphereClient更改默认VMwarePSP.
要更改默认SATP,需要使用vSphereCLI修改声明规则.
可以在第93页,"管理存储路径和多路径插件"中找到有关修改声明规则的部分信息.
有关可用于管理PSA的命令的详细说明,请参见《vSphere命令行界面安装和脚本指南》以及《vSphere命令行界面参考》.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
71查看路径信息使用vSphereClient确定ESX/ESXi主机用于特定存储设备的SATP和PSP,以及该存储设备的所有可用路径的状态.
可以从"数据存储"和"设备"视图访问路径信息.
对于数据存储,请检查与部署了数据存储的设备相连的路径.
路径信息包括分配用来管理设备的SATP、路径选择策略(PSP)、路径及其物理特性的列表(如适配器和各条路径使用的目标)以及各条路径的状态.
其中会显示以下路径状态信息:活动可用于对LUN发出I/O的路径.
目前用于传输数据的单个或多个工作路径标记为"活动"(I/O).
注意对于运行ESX/ESXi3.
5或更低版本的主机,术语"主动"意为只有一条路径被主机用来向LUN发出I/O.
备用路径处于工作状态,并且在活动路径发生故障时可用于I/O.
已禁用路径已禁用,无法传输数据.
失效软件无法通过此路径连接磁盘.
如果正在使用固定路径策略,就可以看到哪一条路径是首选路径.
首选路径的"首选"列标有一个星号(*).
查看数据存储路径使用vSphereClient检查连接到部署了数据存储的存储设备的路径.
步骤1登录vSphereClient,在"清单"面板中选择服务器.
2单击配置选项卡,然后在"硬件"面板中单击存储器.
3在"查看"下方单击数据存储.
4在已配置的数据存储列表中,选择要查看或配置其路径的数据存储.
"详细信息"面板显示用来访问设备的路径总数,以及是否有任何路径已中断或已禁用.
5单击属性>管理路径以打开"管理路径"对话框.
可以使用"管理路径"对话框来启用或禁用路径、设置多路径策略,以及指定首选路径.
查看存储设备路径使用vSphereClient查看主机用于特定存储设备的SATP和PSP,以及该存储设备的所有可用路径的状态.
步骤1登录vSphereClient,在"清单"面板中选择服务器.
2单击配置选项卡,然后在"硬件"面板中单击存储器.
3在"查看"下方单击设备.
4单击管理路径以打开"管理路径"对话框.
iSCSISAN配置指南72VMware,Inc.
设置路径选择策略对于每个存储设备,ESX/ESXi主机都将根据/etc/vmware/esx.
conf文件中所定义的声明规则来设置路径选择策略.
默认情况下,VMware支持以下路径选择策略.
如果在主机上安装了第三方的PSP,其策略也将显示于列表中.
固定(VMW_PSP_FIXED)当通往磁盘的首选路径可用时,主机将始终使用此路径.
如果主机无法通过首选路径访问磁盘,它会尝试替代路径.
"固定的"是主动-主动存储设备的默认策略.
固定的AP(VMW_PSP_FIXED_AP)将"固定"功能扩展到主动-被动阵列和ALUA模式阵列.
最近使用(VMW_PSP_MRU)主机选择它最近使用的路径.
当路径不可用时,主机会选择一个替代路径.
当该路径再次可用时,主机不会恢复到原始路径.
没有MRU策略的首选路径设置.
MRU是主动-被动存储设备的默认策略.
循环(VMW_PSP_RR)当连接到主动-被动阵列时,主机使用自动路径选择算法轮流选择所有活动路径;或者,当连接到主动-主动阵列时,主机使用该算法轮流选择所有可用路径.
这样可在主机可用的物理路径之间实现负载平衡.
负载平衡是在路径之间分配I/O请求的过程.
目的是针对吞吐量(例如每秒I/O流量、每秒兆字节数或响应时间)实现最佳性能.
表5-6总结了主机的行为随不同阵列类型和故障切换策略变化的情况.
表5-6路径策略影响策略/控制器主动/主动主动/被动最近使用发生路径故障后进行故障恢复需要管理员操作.
发生路径故障后进行故障恢复需要管理员操作.
固定的连接恢复后,VMkernel继续使用首选路径.
VMkernel尝试继续使用首选路径.
这会导致路径抖动或故障,因为另一SP现拥有LUN的所有权.
循环无故障恢复.
选择了循环调度中的下一路径.
固定的AP对于ALUA阵列,VMkernel选择设置为首选路径的路径.
对于A/A和A/P以及ALUA阵列,只有在路径抖动避免算法允许故障恢复时,VMkernel才继续使用首选路径.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
73更改路径选择策略通常,不需要更改主机用于特定存储设备的默认多路径设置.
但是,如果要进行任何更改,可以使用"管理路径"对话框修改路径选择策略并指定"固定"策略的首选路径.
步骤1从"数据存储"视图或"设备"视图打开"管理路径"对话框.
2选择路径选择策略.
默认情况下,VMware支持以下路径选择策略.
如果在主机上安装了第三方的PSP,其策略也将显示于列表中.
n固定(VMW_PSP_FIXED)n固定的AP(VMW_PSP_FIXED_AP)n最近使用(VMW_PSP_MRU)n循环(VMW_PSP_RR)3对于"固定"策略,请指定首选路径,方法是:右键单击要作为首选路径分配的路径并选择首选.
4单击确定以保存设置并退出对话框.
禁用路径由于维护或其他原因,可以暂时禁用路径.
您可以使用vSphereClient完成此操作.
步骤1从"数据存储"视图或"设备"视图打开"管理路径"对话框.
2在"路径"面板中,右键单击要禁用的路径,然后选择禁用.
3单击确定以保存设置并退出对话框.
还可以通过右键单击列表中的路径,然后选择禁用来从适配器的"路径"视图禁用路径.
路径管理和手动或静态负载平衡在可用路径间平衡负载将提高性能.
如果阵列支持ALUA协议,则主机可使用该协议执行负载平衡.
如果阵列不支持ALUA协议,而您希望主机执行自动负载平衡,请将设备配置为使用"循环"PSP.
如果希望亲自执行负载平衡,则可以执行手动负载平衡.
使用主动-主动和主动-被动存储阵列,可以将主机设置为使用不同路径访问不同的LUN,从而实现适配器的均衡使用.
如果某一路径发生故障,其余可用路径将承载所有流量.
路径故障切换可能需要一分钟或更长时间,因为SAN可能要协同新的拓扑来尝试还原服务.
此延迟对于允许SAN在拓扑更改后稳定其配置是必要的.
通过将首选的路径分配到LUN,可以配置ESX/ESXi主机以跨多个适配器平衡流量负载.
路径策略必须设置为"固定".
以下示例演示了如何使用主动-主动阵列执行手动负载平衡.
假定以下设置,如图5-1中所示.
n主动/主动SPn一个ESX/ESXi系统n两个iSCSIHBAiSCSISAN配置指南74VMware,Inc.
图5-1手动平衡iSCSI的负载存储阵列ESX/ESXiSP1SP23421HBA2HBA1IP网络为实现负载平衡,请按如下所示设置首选路径.
n对于LUN1:HBA1-SP1-LUN1n对于LUN2:HBA2-SP1-LUN2n对于LUN3:HBA1-SP2-LUN3n对于LUN4:HBA2-SP2-LUN4如果阵列可支持两个活动路径,且HBA端口可访问阵列中的两个SP,则可使用主动-被动阵列执行负载平衡.
可使用VMW_PSP_FIXED_AP路径选择策略在主动-被动阵列上静态平衡路径负载.
设置客户机操作系统超时增加标准磁盘超时值,以便Windows客户机操作系统不会在路径故障切换过程中发生大范围中断.
路径故障切换在指向LUN的活动路径由某一路径更改为另一路径时发生,通常是因为当前路径沿线的某一SAN组件发生故障.
I/O可能会暂停30到60秒,直到iSCSI驱动程序确定该链路不可用并且故障切换结束时为止.
因此,虚拟机(其虚拟磁盘安装在SAN存储器上)可能变得没有响应.
如果尝试显示主机、主机存储设备或适配器,操作可能会停止.
故障切换完成后,I/O恢复正常.
如果存在多处故障,所有与SAN存储设备的连接可能都会丢失.
如果任何与存储设备的连接均无法工作,某些虚拟机在其虚拟SCSI磁盘上可能遇到I/O错误.
对于Windows2000和WindowsServer2003客户机操作系统,可以使用注册表设置操作系统超时.
步骤1备份Windows注册表.
2选择开始>运行.
3从命令提示符处键入regedit.
exe,然后单击确定.
4在左面板层次结构视图中,依次双击HKEY_LOCAL_MACHINE、System、CurrentControlSet、Services和Disk.
5选中TimeOutValue并将数据值设置为x03c(十六进制)或60(十进制).
进行此更改后,Windows将至少等待60秒,以便延迟的磁盘操作完成,然后才会生成错误.
6单击确定,退出注册表编辑器.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
75共享诊断分区通常,将ESX/ESXi主机的本地磁盘用作诊断分区.
但对于从SAN引导的无磁盘ESX服务器,多个主机可共享同一SANLUN上的一个诊断分区.
如果多个ESX/ESXi系统使用一个LUN作为诊断分区,必须对该LUN进行区域分配以便所有服务器都可对其进行访问.
每台服务器需要100MB空间,因此LUN的大小将决定可共享该LUN的服务器数目.
每个ESX/ESXi系统均映射到一个诊断插槽.
如果服务器共享诊断分区,VMware建议磁盘空间至少满足16个插槽所需(1600MB).
如果设备上只有一个诊断插槽,所有共享该设备的ESX/ESXi系统将映射到同一插槽.
这样设置很容易产生问题.
如果两个ESX/ESXi系统同时执行核心转储,则诊断分区上的核心转储将被覆盖.
避免和解决SAN问题将ESX/ESXi与SAN一起使用时,必须依照特定准则才能避免SAN问题.
应特别留意这些避免和解决SAN配置问题的提示:n每个LUN上仅放置一个VMFS数据存储.
不建议将多个VMFS数据存储放置在同一LUN上.
n不要更改系统为您设置的路径策略,除非您了解做出此类更改的影响.
n将所有信息记录在案.
其中包括涉及以下项目的信息:配置、访问控制、存储器、交换机、服务器和iSCSIHBA配置、软件和固件版本以及存储器线缆布局.
n对故障情况进行规划:n制作多个拓扑映射副本.
考虑每一元素发生故障时可能对SAN带来的影响.
n除去不同链接、交换机、HBA和其他元素,确保未遗漏设计中的关键故障点.
n确保根据插槽和总线速度将iSCSIHBA安装到ESX/ESXi主机中的正确插槽.
在服务器中的可用总线之间平衡PCI总线负载.
n在所有可视点(包括ESX/ESXi性能图表、以太网交换机统计信息及存储性能统计信息)熟悉存储网络中的不同监控点.
n更改由ESX/ESXi主机使用的VMFS数据存储的LUN的ID时,请务必小心操作.
如果您更改此ID,则VMFS数据存储上运行的虚拟机将发生故障.
如果VMFS数据存储上没有正在运行的虚拟机,则在您更改LUN的ID后,必须使用重新扫描在主机上重置ID.
有关使用重新扫描的详细信息,请参阅第68页,"执行存储重新扫描".
优化SAN存储器性能要优化典型SAN环境,需要考虑多个因素.
如果正确配置了网络环境,则iSCSI组件将为iSCSI启动器和目标提供足够的吞吐量及足够短的延迟.
如果网络拥塞,并且链接、交换机或路由器处于饱和状态,则iSCSI性能会下降,不能满足ESX/ESXi环境的需求.
存储系统性能存储系统性能是影响整个iSCSI环境性能的主要因素之一.
如果存储系统性能出现问题,请参阅存储系统供应商文档以获取任何相关信息.
分配LUN时,请记住,您可以通过多台ESX/ESXi主机访问每个共享的LUN,而且每台主机上都可运行多台虚拟机.
由ESX/ESXi主机使用的一个LUN可向运行于不同操作系统的多个不同应用程序提供I/O服务.
由于此工作负载并非恒定不变,ESX/ESXiLUN所在的RAID组不应包括其他主机所使用的LUN,这些主机上未运行ESX/ESXi用于I/O密集型应用程序.
iSCSISAN配置指南76VMware,Inc.
启用读缓存和写缓存.
负载平衡的过程即是将服务器I/O请求分散于所有可用SP及其关联的主机服务器路径.
目的是针对吞吐量(每秒I/O流量、每秒兆字节数或响应时间)实现最佳性能.
需要不断对SAN存储系统进行重新设计和调试,以确保所有存储系统路径间的I/O负载平衡.
为满足此要求,请在所有SP间分发指向LUN的路径以提供最佳负载平衡效果.
密切监控可指示何时需要手动重新平衡LUN的分发.
调试静态平衡存储系统即是监控特定性能统计信息(例如每秒I/O操作数、每秒块数及响应时间)并通过分发LUN工作负载将工作负载分散到所有SP.
注意ESX/ESXi目前尚不支持动态负载平衡.
服务器性能为确保最佳服务器性能,必须考虑几个因素.
各服务器应用程序访问其专用存储器时必须满足以下条件:n高I/O速率(每秒I/O操作数)n高吞吐量(每秒兆字节数)n最小延迟(响应时间)由于各应用程序的要求不尽相同,您可以选择存储系统上的适当RAID组来实现上述目标.
要实现性能目标,请执行以下任务:n将每个LUN置于提供必要性能级别的RAID组.
请注意所分配的RAID组中其他LUN的活动及资源利用率.
对于高性能RAID组,因有过多应用程序对其执行I/O操作,它可能无法满足ESX/ESXi主机上运行的应用程序所需的性能目标.
n为各服务器提供足够多的网络适配器或iSCSI硬件适配器,以便能满足高峰时段服务器上托管的所有应用程序的最大吞吐量.
将I/O分散到多个端口可为各应用程序提供更高的吞吐量及更短的延迟.
n要提供软件iSCSI的冗余,请确保启动器连接到用于iSCSI连接的所有网络适配器.
n为ESX/ESXi系统分配LUN或RAID组时,多个操作系统将使用和共享该资源.
因此,当您使用ESX/ESXi系统时,存储子系统中各个LUN所需的性能要远高于使用物理机的情况.
例如,如果计划运行四个I/O密集型应用程序,请为ESX/ESXiLUN分配四倍大小的性能容量.
n将多个ESX/ESXi系统与vCenterServer一起使用时,存储子系统所需的性能将相应增加.
nESX/ESXi系统上运行的应用程序所需的未完成I/O数目应与SAN能处理的I/O数目相匹配.
网络性能典型的SAN包括一组通过交换机网络连接一组存储系统的计算机.
多台计算机访问的都是同一个存储器.
图5-2显示了通过以太网交换机连接存储系统的多个计算机系统.
在此配置中,每个系统都通过单个以太网链接连接交换机,该交换机也通过单个以太网链接连接存储系统.
在具有新式交换机和普通流量的多数配置中,这不是一个问题.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
77图5-2单个以太网链接与存储器的连接系统从存储器读取数据时,来自存储器的最大响应是发送足够的数据来填充存储系统与以太网交换机之间的链接.
任何单个系统或虚拟机都不可能充分利用网络速度,但这是在多个系统共享一个存储设备时可能发生的预期情形.
将数据写入存储器时,多个系统或虚拟机会尝试填充其链接.
如图5-3所示,发生这种情况时,系统与存储系统间的交换机必须丢弃数据.
发生这种情况是因为:使用单个存储设备连接时,要发送至存储系统的流量超过了单个链接所能承载的流量.
在这种情况下,交换机会丢弃网络数据包,因为可传输的数据量受到交换机与存储系统间的链接速度的限制.
图5-3丢弃的数据包1Gbit1Gbit1Gbit丢弃的数据包恢复丢弃的网络数据包会导致性能明显降低.
除了花时间确定数据已丢弃,重新传输操作还需使用网络带宽,否则网络带宽将用于当前事务.
iSCSI流量通过传输控制协议(TransmissionControlProtocol,TCP)进行网络传输.
TCP是一个可靠的传输协议,可确保重试丢弃的数据包并使其最终到达目标.
TCP旨在恢复并快速、无缝地重新传输丢弃的数据包.
但是,如果交换机定期丢弃数据包,网络吞吐量将显著降低.
网络会充满重新发送数据的请求以及已重新发送的数据包,并且实际传输的数据量少于网络未拥堵时的数据量.
大多数以太网交换机可缓冲或存储数据,并为每个尝试发送数据的设备提供到达目标的同等机会.
这种缓冲部分传输数据的功能与限制未完成命令数目的许多系统相结合,可允许若干系统的小型脉冲依次发送至存储系统.
如果事务较大,且多台服务器正尝试通过单个交换机端口发送数据,则交换机将无法在传输一个请求的同时缓冲另一个请求.
在这种情况下,交换机会丢弃无法发送的数据,且存储系统必须请求重新传输丢弃的数据包.
例如,如果以太网交换机可在输入端口上缓冲32KB,而与其连接的服务器认为可向存储设备发送256KB,则会丢弃一些数据.
大多数受管交换机都会提供有关所丢弃数据包的信息,类似以下形式:*:interfaceisupIHQ:pktsininputholdqueueIQD:pktsdroppedfrominputqueueOHQ:pktsinoutputholdqueueOQD:pktsdroppedfromoutputqueueRXBS:rxrate(bits/sec)RXPS:rxrate(pkts/sec)TXBS:txrate(bits/sec)TXPS:txrate(pkts/sec)TRTL:throttlecountiSCSISAN配置指南78VMware,Inc.
表5-7交换机信息示例接口IHQIQDOHQOQDRXBSRXPSTXBSTXPSTRTL*GigabitEthernet0/1399220047630300062273477840000636770在此Cisco交换机示例中,使用的带宽为476303000位/秒,低于线速的一半.
尽管如此,端口仍缓冲入站数据包,丢弃了许多数据包.
此界面摘要最后一行的IQD列表示该端口已丢弃近10,000个入站数据包.
为避免此问题而对配置进行更改时需确保多个输入以太网链接不缩减为一个输出链接,否则会导致链接超额预定.
如果在几乎满载时进行传输的多个链接切换为较小数量的链接,则可能发生超额预定情况.
通常,向存储器写入大量数据的应用程序或系统(例如数据获取或事务日志记录系统)不应共享与存储设备的以太网链接.
通过与存储设备的多个连接,这些类型的应用程序可实现最佳性能.
图5-4显示了交换机与存储器的多个连接.
图5-4交换机与存储器的多个连接1Gbit1Gbit1Gbit1Gbit使用VLAN或VPN不能针对共享配置中的链接超额预定问题提供合适的解决方案.
VLAN和网络的其他虚拟分区提供了逻辑设计网络的方法,但不能更改交换机之间链接和中继的物理功能.
当存储流量和其他网络流量最终要共享物理连接时,就像VPN一样,可能出现超额预定和丢失数据包的现象.
此情况也适用于共享交换机间中继的VLAN.
设计SAN的性能时,必须考虑网络的物理限制而不是逻辑分配.
解决性能问题vSphereClient提供多种工具用于收集性能信息.
这些信息以图形方式显示在vSphereClient中.
vSphereClient可定期更新显示屏幕.
还可以使用resxtopvSphereCLI命令,该命令允许您检查ESX/ESXi主机使用资源的方式.
有关resxtop的信息,请参见《资源管理指南》或《vSphere命令行界面安装和脚本指南》.
检查以太网交换机统计信息许多以太网交换机提供了监控交换机状况的不同方法.
如果端口经常都需要处理接近最大值的吞吐量,则交换机无法提供最佳性能.
如果iSCSISAN中的端口需要处理接近最大值的吞吐量,请减少负载.
如果端口与ESX/ESXi系统或iSCSI存储器连接,则可使用手动负载平衡来减少负载.
如果端口与多个交换机或路由器连接,请考虑在这些组件间安装更多链接以处理更大的负载.
以太网交换机通常还提供有关传输错误、排队的数据包和丢弃的以太网数据包的信息.
如果交换机定期报告用于iSCSI流量的端口上的上述任何状况,iSCSISAN的性能将受影响.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
79解决路径抖动如果服务器无法访问LUN,或者访问速度很慢,则可能是路径抖动(也称为LUN抖动)的问题.
两台主机通过不同SP访问LUN时,LUN从未真正可用,此时可能出现路径抖动.
只有特定的SAN配置与以下条件同时作用时才会导致路径抖动:n使用主动-被动阵列.
路径抖动仅发生在主动-被动阵列上.
对于主动-主动阵列或提供透明故障切换的阵列,不会出现路径抖动.
n两个主机使用不同存储处理器(SP)访问同一LUN.
可在两种情况下发生路径抖动.
n例如,LUN配置为使用固定PSP.
在主机A上,到LUN的首选路径设置为使用经由SPA的路径.
在主机B上,到LUN的首选路径配置为使用经由SPB的路径.
n如果主机A只能通过经由SPA的路径访问LUN,主机B只能通过经由SPB的路径访问LUN,则也可能会发生路径抖动.
直接连接阵列(如AX100)的一个或多个节点上发生HBA故障切换时也可能出现这一问题.
路径抖动问题通常不会出现在其他操作系统中.
没有其他常见操作系统使用超过两个服务器共享的LUN.
该设置通常为群集所预留.
如果同时仅一个服务器正在发出到LUN的I/O,则路径抖动不会成为问题.
相比而言,多个ESX/ESXi系统可能同时向同一LUN发出I/O.
了解路径抖动在存储阵列中,SP就像对部分共享存储器具有访问权限的独立计算机.
如何处理并发的访问将由算法决定.
对于主动-被动阵列,存储器上组成给定LUN的所有扇区每次只能由一个SP访问.
所有权在存储处理器之间传递.
存储系统使用缓存且SPA不得向磁盘写入任何使SPB缓存无效的内容.
由于SP在完成操作后必须刷新缓存,因此转移所有权需要一些时间.
在此期间,两个SP都无法处理LUN的I/O.
对于主动-主动阵列,通过算法可实现对存储器更加精细的访问,并可同步缓存.
可通过任何SP同时访问,无需额外的时间.
考虑路径选择如何运作:n在主动-主动阵列上,ESX/ESXi系统开始沿新路径发送I/O.
n在主动-被动阵列上,ESX/ESXi系统将检查所有备用路径.
当前待考虑路径的SP将向系统发送信息,指示其当前是否拥有LUN的所有权.
n如果ESX/ESXi系统找到拥有LUN所有权的SP,则会选定该路径并沿该路径发送I/O.
n如果ESX/ESXi主机找不到此类路径,ESX/ESXi主机便挑选一条备用路径并向SP发送命令将LUN所有权移至此SP.
以下路径选择会导致发生路径抖动:如果服务器A只能通过一个SP到达某个LUN,而服务器B只能通过另一SP到达同一个LUN,那么二者将使得LUN的所有权在两个SP之间不断转移,就像打乒乓球.
由于系统转移所有权的速度很快,存储阵列无法处理任何I/O(或只能处理非常少的一部分).
因此,由于LUN完成每个I/O请求需要花费很长时间,依靠LUN的所有服务器都将遭遇吞吐量低下的情形.
iSCSISAN配置指南80VMware,Inc.
解决路径抖动使用此过程解决路径抖动.
两台主机通过不同SP访问LUN时,LUN从未真正可用,此时可能在主动-被动阵列上出现路径抖动.
步骤1确保在主动-被动阵列上共享同一组LUN的所有主机使用同一存储处理器.
2更正不同ESX/ESXi主机与SAN目标间的任何线缆接线或屏蔽不一致问题,以便对所有HBA显示相同的目标.
3配置路径以使用"最近使用的PSP"(默认)或VMW_PSP_FIXED_AP.
平衡虚拟机之间的磁盘访问可以在vSphereClient中通过Disk.
SchedNumReqOutstanding参数调整未完成的磁盘请求的最大数目.
两台或多台虚拟机访问同一LUN时,此参数将控制每台虚拟机可向LUN发出的未完成请求数量.
调整该限制有助于平衡虚拟机之间的磁盘访问.
此限制不适用于LUN上只有一个虚拟机处于活动状态的情况.
在这种情况下,带宽由存储适配器的队列深度限制.
步骤1在vSphereClient的"清单"面板中选择主机.
2单击配置选项卡,然后单击"软件"下的高级设置.
3在左侧面板中单击磁盘,并向下滚动至Disk.
SchedNumReqOutstanding.
4将参数值更改为所选的数字并单击确定.
此更改可对磁盘带宽调度产生影响,但是实验结果证明此更改对磁盘密集型工作负载有改善作用.
下一步如果在VMkernel中调整此值,您可能还需要调整存储适配器中的队列深度.
设置软件iSCSI的最大队列深度如果发现软件iSCSILUN的性能不佳,可通过使用vicfg-module命令来更改其最大队列深度.
步骤1在vSphereCLI上,您可运行以下命令:vicfg-module-siscsivmk_LunQDepth=valueiscsi_vmkiscsivmk_LunQDepth参数用于为通过软件iSCSI适配器访问的每个LUN设置最大未完成命令数或队列深度.
默认值为128.
2重新引导系统.
小心将队列深度设置为高于默认值的值,可减少受支持LUN的总数.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
81减少SCSI预留需要在VMFS中获取文件锁或元数据锁的操作可导致暂时性SCSI预留.
SCSI预留将锁定整个LUN.
某一服务器使用过多SCSI预留可导致其他服务器访问相同VMFS时性能降低.
需要取得文件锁或元数据锁的操作示例包括:n启动虚拟机.
nvMotion.
n在虚拟机上运行虚拟磁盘快照.
n需要打开文件或执行元数据更新的文件操作.
注意仅当LUN不支持VAAI时,ESX/ESXi才使用SCSI预留机制.
如果LUN支持VAAI且支持硬件加速,则ESX/ESXi使用自动测试和设置(ATS)算法锁定LUN.
如果在访问相同VMFS的多台服务器上经常发生此类操作,则会导致性能降低.
例如,VMware不建议在相同VMFS上运行来自多台服务器的多台使用虚拟磁盘快照的虚拟机.
在VMFS上运行多台虚拟机时请限制VMFS文件操作的数目.
SAN存储器备份注意事项在SAN环境中,备份有两个目的.
第一个目的是将联机数据归档至脱机介质.
可对所有联机数据按时间表定期重复执行此过程.
第二个目的是提供对脱机数据的访问,用于从故障中恢复.
例如,数据库恢复通常需要检索当前未联机的已归档日志文件.
计划备份取决于多种因素:n重要应用程序的标识,这些应用程序在给定的一段时间内需要较频繁地备份.
n恢复点和恢复时间目标.
考虑恢复点所需的精确度,以及愿意为此而等待的时间长度.
n与数据关联的变化率(RateofChange,RoC).
例如,如果使用同步/异步复制,RoC将影响主存储设备与辅助存储设备间所需带宽的大小.
n对SAN环境、存储器性能(备份时)以及其他应用程序的总体影响.
nSAN上高峰流量时段的标识(计划于这些高峰时段执行的备份会降低应用程序和备份过程的运行速度).
n计划数据中心内所有备份的时间.
n备份单个应用程序所需的时间.
n归档数据的资源可用性;通常为脱机介质访问(磁带).
设计备份策略时要包括各应用程序的恢复时间目标.
也就是考虑重新置备数据所需的时间和资源.
例如,如果已计划的备份要存储过多数据,导致恢复需要大量时间,那么请检查已计划的备份.
增加执行备份的频率,这可减少每次备份的数据,从而缩短恢复时间.
如果特定的应用程序需要在某一期限内恢复,则备份过程需要提供时间表及特殊数据处理以满足此需求.
快速恢复可能需要使用驻留在联机存储器上的恢复卷,从而尽可能避免通过访问速度较慢的脱机介质来获取缺少的数据组件.
iSCSISAN配置指南82VMware,Inc.
快照软件管理员通过快照软件可以对磁盘子系统内定义的任一虚拟磁盘生成即时副本.
快照软件分为不同的可用级别:n通过ESX/ESXi主机可创建虚拟机的快照.
此软件在ESX/ESXi基本软件包中附送.
n第三方备份软件可能允许更全面的备份过程,并可能包含更高级的配置选项.
管理员可出于多种原因而生成快照,其中包括:n备份n灾难恢复n多种配置和/或版本的可用性n取证(Forensics)(在系统运行时通过查看快照寻找导致问题的原因)n数据挖掘(Datamining)(查看数据的副本以降低生产系统的负载)使用第三方备份软件包使用第三方软件具有环境统一的优点.
但是,第三方快照软件带来的额外开销会随着SAN规模的扩大而变得更高.
如果使用第三方备份软件,请确保ESX/ESXi主机支持该软件.
如果使用快照来备份数据,请考虑以下几点:n有些供应商同时支持VMFS和RDM的快照.
如果二者均支持,您可以生成主机的整个虚拟机文件系统的快照,也可以生成单个虚拟机的快照(每个磁盘一个快照).
n有些供应商仅对使用RDM的设置支持快照.
如果仅支持RDM,您可以对单个虚拟机执行快照.
请参见存储供应商的文档.
注意ESX/ESXi系统还包括ConsolidatedBackup组件.
分层应用程序SAN管理员通常使用基于阵列的专用软件进行备份、灾难恢复、数据挖掘、取证以及配置测试.
存储供应商通常对LUN提供两种类型的高级服务:快照和复制.
将ESX/ESXi系统与SAN一起使用时,您必须确定是基于阵列的工具还是基于主机的工具更适合特定的情形.
基于阵列(第三方)的解决方案将ESX/ESXi系统与SAN一起使用时,您必须确定基于阵列的工具是否更适合特定的情形.
考虑基于阵列的解决方案时,请记住以下几点:n基于阵列的解决方案通常可得到更全面的统计信息.
使用RDM,数据始终采用同一路径,使得性能管理更为简单.
n使用RDM和基于阵列的解决方案时,安全性对于存储管理员而言更为透明,因为使用RDM时虚拟机与物理机更为相似.
n如果使用基于阵列的解决方案,通常会将物理兼容RDM用作虚拟机的存储器.
如果不打算使用RDM,请查看存储供应商的文档,确认是否支持在带有VMFS卷的LUN上进行操作.
如果在VMFSLUN上使用阵列操作,请仔细阅读再签名一节.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
83基于文件(VMFS)的解决方案将ESX/ESXi系统与SAN一起使用时,您必须确定基于主机的工具是否更适合特定的情形.
考虑使用VMwareTools和VMFS(而非阵列工具)的基于文件的解决方案时,请注意以下几点:n使用VMwareTools和VMFS更利于置备.
分配一个较大LUN,多个.
vmdk文件可置于该LUN上.
使用RDM,每台虚拟机都需要一个新LUN.
n快照服务随ESX/ESXi主机附送,无需额外付费.
因此基于文件的解决方案相比基于阵列的解决方案更为经济高效.
n对ESX/ESXi管理员而言,使用VMFS更容易.
nESX/ESXi管理员若使用基于文件的解决方案可减轻对SAN管理员的依赖性.
管理重复VMFS数据存储当LUN包含VMFS数据存储副本时,您可以使用现有签名或通过分配新签名来挂载该数据存储.
在LUN中创建的每个VMFS数据存储都有一个唯一的UUID,该UUID存储在文件系统超级块中.
对LUN进行复制或生成快照后,生成的LUN副本的每个字节都与原始LUN完全相同.
因此,如果原始LUN包含具有UUIDX的VMFS数据存储,则LUN副本会显示包含具有完全相同UUIDX的相同的VMFS数据存储或VMFS数据存储副本.
ESX/ESXi可以确定LUN是否包含VMFS数据存储副本,并使用其原始UUID挂载数据存储副本,或更改UUID从而对该数据存储进行再签名.
使用现有签名挂载VMFS数据存储可能无需再签名VMFS数据存储副本.
可以挂载VMFS数据存储副本,而不更改其签名.
例如,作为灾难恢复计划的一部分,可以在辅助站点上维护虚拟机的同步副本.
在主站点发生灾难时,可以在辅助站点上挂载数据存储副本并启动虚拟机.
重要事项仅当与具有相同UUID的原始VMFS数据存储不冲突时,才可以挂载VMFS数据存储副本.
要挂载该副本,原始VMFS数据存储必须处于脱机状态.
挂载VMFS数据存储时,ESX/ESXi允许对驻留在LUN副本上的数据存储执行读取和写入操作.
LUN副本必须为可写入状态.
在系统重新引导后,数据存储挂载也是持久有效的.
由于ESX/ESXi不允许对挂载的数据存储进行再签名,所以请在进行再签名之前卸载数据存储.
使用现有签名挂载VMFS数据存储如果不需要对VMFS数据存储副本进行再签名,则无需更改其签名即可挂载.
前提条件在挂载VMFS数据存储之前,请在主机上执行存储重新扫描,以便更新为其显示的LUN视图.
步骤1登录vSphereClient,然后在"清单"面板中选择服务器.
2单击配置选项卡,然后在"硬件"面板中单击存储器.
3单击添加存储器.
4选择磁盘/LUN存储器类型,然后单击下一步.
iSCSISAN配置指南84VMware,Inc.
5从LUN列表中,选择数据存储名称显示在"VMFS标签"列中的LUN,然后单击下一步.
"VMFS标签"列中显示的名称表示LUN包含现有VMFS数据存储的副本.
6在"挂载选项"下面,选择保留现有的签名.
7在"即将完成"页面,检查数据存储配置信息,然后单击完成.
下一步如果稍后要对挂载的数据存储进行再签名,则必须先将其卸载.
卸载数据存储卸载数据存储时,它会保持原样,但是在指定的主机上再也看不到该存储.
它继续出现在其他主机上并在这些主机上它保持挂载状态.
只能卸载以下类型的数据存储:nNFS数据存储n已挂载却没有再签名的VMFS数据存储副本不能卸载活动的已挂载数据存储.
步骤1显示数据存储.
2右键单击要卸载的数据存储,然后选择卸载.
3如果数据存储已共享,请指定不应再访问该数据存储的主机.
a如果需要,请取消选中要使其中的数据存储保持挂载状态的主机.
默认情况下,会选中所有主机.
b单击下一步.
c检查要从中卸载数据存储的主机列表,然后单击完成.
4确认要卸载数据存储.
对VMFS副本进行再签名使用数据存储再签名保留VMFS数据存储副本上所存储的数据.
对VMFS副本进行再签名时,ESX/ESXi会为副本分配新的UUID和新的标签,并将副本挂载为与原始数据存储明显不同的数据存储.
分配到数据存储的新标签的默认格式是snap-snapID-oldLabel,其中snapID是整数并且oldLabel是原始数据存储的标签.
在执行数据存储再签名时,请考虑以下几点:n数据存储再签名不可逆.
n不再将包含再签名的VMFS数据存储的LUN副本视为LUN副本.
n仅当跨区数据存储的所有数据区联机时,才可对其进行再签名.
n再签名过程是应急过程,并具有容错性.
如果过程中断,可以稍后恢复.
n可以挂载新的VMFS数据存储,而无需承担其UUID与其他任何数据存储UUID相冲突的风险,如LUN快照层次结构中的祖先或子项.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
85对VMFS数据存储副本进行再签名如果要保留VMFS数据存储副本上所存储的数据,请使用数据存储再签名.
前提条件要对挂载的数据存储副本进行再签名,请先将其卸载.
对VMFS数据存储进行再签名之前,请在主机上执行存储重新扫描,以便主机更新为其显示的LUN视图并发现所有LUN副本.
步骤1登录vSphereClient,然后在"清单"面板中选择服务器.
2单击配置选项卡,然后在"硬件"面板中单击存储器.
3单击添加存储器.
4选择磁盘/LUN存储器类型,然后单击下一步.
5从LUN列表中,选择数据存储名称显示在"VMFS标签"列中的LUN,然后单击下一步.
"VMFS标签"列中显示的名称表示LUN包含现有VMFS数据存储的副本.
6在"挂载选项"下,选择分配新签名,并单击下一步.
7在"即将完成"页面,检查数据存储配置信息,然后单击完成.
下一步进行再签名之后,可能需要执行以下操作:n如果再签名的数据存储包含虚拟机,则在虚拟机文件中更新对原始VMFS数据存储的引用,这些虚拟机文件包括.
vmx、.
vmdk、.
vmsd和.
vmsn.
n要启动虚拟机,请在vCenterServer中注册它们.
存储硬件加速硬件加速功能使主机能够将特定虚拟机和存储管理操作卸载到合规存储硬件.
利用存储硬件的辅助,主机可以更快地执行这些操作并且占用更少的CPU、内存和存储结构带宽.
为实现硬件加速功能,可插入存储架构(PSA)结合使用特殊阵列集成插件(称为VAAI插件)以及一个阵列集成筛选器(称为VAAI).
PSA可自动将VAAI筛选器和供应商特定的VAAI插件附加到这些支持硬件加速的存储设备.
要查看和管理主机上可用的VAAI筛选器和VAAI插件,请使用vSphereCLI命令.
可以在第99页,"管理硬件加速筛选器和插件"中查找有关管理VAAI筛选器和VAAI插件的一些信息.
有关这些命令的说明,请参见《vSphere命令行界面安装和脚本指南》和《vSphere命令行界面参考》.
硬件加速要求和优点仅当结合使用相应的主机和存储阵列时,硬件加速功能才起作用.
使用下列主机和存储阵列:nESX/ESXi版本4.
1或更高版本.
n支持基于存储的硬件加速的存储阵列.
ESX/ESXi版本4.
1不支持对NAS存储设备使用硬件加速.
iSCSISAN配置指南86VMware,Inc.
在主机上,硬件加速功能在默认情况下已启用.
要在存储器端启用硬件加速,请咨询存储器供应商.
某些存储阵列要求在存储器端明确激活硬件加速支持.
当支持硬件加速功能时,主机在硬件方面可以有所改善,从而可以更快和更有效地执行下列操作:n通过StoragevMotion迁移虚拟机n从模板中部署虚拟机n克隆虚拟机或模板n虚拟机文件的VMFS群集锁定和元数据操作n写入精简置备的虚拟磁盘和厚虚拟磁盘n创建容错虚拟机硬件加速支持状态对于每个存储设备和数据存储,vSphereClient会在"设备"视图和"数据存储"视图的"硬件加速"列中显示硬件加速支持状态.
状态值为"未知"、"支持"和"不支持".
初始值为"未知".
在主机成功执行卸载操作后,状态将更改为"支持".
如果卸载操作失败,状态将更改为"不支持".
当存储设备不支持主机操作或只为主机操作提供部分支持时,主机将恢复到其本机方法以执行不支持的操作.
关闭硬件加速如果存储设备不支持硬件加速功能,可以使用vSphereClient高级设置将其关闭.
与任何高级设置一样,在禁用硬件加速之前,请咨询VMware支持团队.
步骤1在vSphereClient的"清单"面板中,选择主机.
2单击配置选项卡,然后在软件下单击高级设置.
3单击VMFS3并将VMFS3.
HardwareAcceleratedLocking字段中的值更改为零.
4单击DataMover并将以下每个字段中的值更改为零:nDataMover.
HardwareAcceleratedMovenDataMover.
HardwareAcceleratedInit5单击确定保存更改.
章5管理使用SAN存储器的ESX/ESXi系统VMware,Inc.
87iSCSISAN配置指南88VMware,Inc.
iSCSISAN配置对照表A本主题提供不同存储系统和ESX/ESXi主机的特殊设置要求对照表.
表A-1iSCSISAN配置要求组件备注所有存储系统没有备用电池时必须禁用写入缓存.
拓扑一处故障不会导致HBA和SP进行故障切换,尤其是使用主动-被动存储阵列时.
EMCSymmetrix启用SPC2和SC3设置.
请联系EMC获取最新设置.
EMCClariion将EMCClariion故障切换模式设置为1或4.
有关详细信息,请与EMC联系.
HPMSA无特定要求HPEVA对于EVA3000/5000固件4.
001及更高版本和EVA4000/6000/8000固件5.
031及更高版本,将主机类型设置为VMware.
否则将主机模式类型设置为Custom.
值为:nEVA3000/5000固件3.
x:000000002200282EnEVA4000/6000/8000:000000202200083ENetApp如果有任何iSCSI启动器是启动器组(igroup)的一部分,请针对NetApp阵列禁用ALUA.
EqualLogic确保已针对硬件iSCSI适配器启用ARP重定向.
LeftHand确保已针对硬件iSCSI适配器启用ARP重定向.
ESX/ESXi配置为ESX/ESXi主机设置以下高级设置:n将Disk.
UseLunReset设置为1n将Disk.
UseDeviceReset设置为0对于主动-被动阵列,必须将所有托管群集磁盘的LUN的多路径策略设置为"最近使用".
主动-主动阵列上LUN的多路径策略可设置为"最近使用"或"固定".
如果存储系统支持透明故障切换,则允许ARP重定向.
VMware,Inc.
89iSCSISAN配置指南90VMware,Inc.
VMwarevSphere命令行界面B在多数情况下,vSphereClient非常适合监控连接SAN存储器的ESX/ESXi主机.
高级用户有时可能需要使用某些VMwarevSphere命令行界面(vSphereCLI)命令获取其他详细信息.
有关详细信息,请参见《vSphere命令行界面安装和脚本指南》.
本附录讨论了以下主题:n第91页,"resxtop命令"n第91页,"vicfg-iscsi命令"n第91页,"vicfg-mpath命令"n第91页,"esxclicorestorageclaimrule命令"n第92页,"vmkping命令"resxtop命令resxtop命令可实时详细查看ESX/ESXi资源使用情况.
有关resxtop的详细信息,请参见《资源管理指南》和《vSphere命令行界面安装和脚本指南》.
vicfg-iscsi命令vicfg-iscsi命令允许在ESX/ESXi主机上配置软件或硬件iSCSI,设置CHAP参数和iSCSI网络.
有关详细信息,请参见《vSphere命令行界面安装和脚本指南》以及《vSphere命令行界面参考》.
vicfg-mpath命令使用vicfg-mpath命令可查看有关存储设备、路径和多路径插件的信息.
有关详细信息,请参见《vSphere命令行界面安装和脚本指南》以及《vSphere命令行界面参考》.
esxclicorestorageclaimrule命令使用esxclicorestorageclaimrule命令可管理声明规则.
声明规则确定哪个多路径模块应当声明特定设备的路径并对该设备进行管理.
有关详细信息,请参见《vSphere命令行界面安装和脚本指南》以及《vSphere命令行界面参考》.
VMware,Inc.
91vmkping命令vmkping命令允许您验证VMkernel网络配置.
用法示例:vmkping[options][host|IPaddress]表B-1vmkping选项选项描述-6使用IPv6-ICMPv6Echo请求.
-4使用IPv4(默认).
-I出站接口-对于IPv6范围.
-DVMkernelTCP堆栈调试模式.
-ccount设置数据包计数.
-Iinterval设置时间间隔.
-ssize设置发送大小.
-d在IPv4数据包上设置DF位.
-v详细.
iSCSISAN配置指南92VMware,Inc.
管理多路径模块和硬件加速插件C使用vSphereCLI可管理可插入存储架构(PSA)多路径插件和硬件加速插件.
本附录讨论了以下主题:n第93页,"管理存储路径和多路径插件"n第99页,"管理硬件加速筛选器和插件"n第101页,"esxclicorestorageclaimrule选项"管理存储路径和多路径插件通过vSphereCLI,可以管理PSA多路径插件和分配给它们的存储路径.
您可以显示主机上所有可用的多路径插件.
可以列出任何第三方MPP以及主机的NMP和SATP,并检查它们所声明的路径.
还可以定义新路径,并指定应声明路径的多路径插件.
有关可用于管理PSA的命令的详细信息,请参见《vSphere命令行界面安装和脚本指南》以及《vSphere命令行界面参考》.
列出主机的多路径声明规则使用vSphereCLI可列出可用的多路径声明规则.
声明规则指出给定的物理路径由哪个多路径插件、NMP或任何第三方MPP来管理.
每个声明规则基于以下参数标识一组路径:n供应商/型号字符串n传输(如SATA、IDE、光纤通道等)n适配器、目标或LUN位置n设备驱动程序(如Mega-RAID)步骤u使用esxclicorestorageclaimrulelist--claimrule-class=MP可列出多路径声明规则.
示例C-1显示了命令的输出.
VMware,Inc.
93示例C-1esxclicorestorageclaimrulelist命令的示例输出RuleClassRuleClassTypePluginMatchesMP0runtimetransportNMPtransport=usbMP1runtimetransportNMPtransport=sataMP2runtimetransportNMPtransport=ideMP3runtimetransportNMPtransport=blockMP4runtimetransportNMPtransport=unknownMP101runtimevendorMASK_PATHvendor=DELLmodel=UniversalXportMP101filevendorMASK_PATHvendor=DELLmodel=UniversalXportMP200runtimevendorMPP_1vendor=NewVendmodel=*MP200filevendorMPP_1vendor=NewVendmodel=*MP201runtimelocationMPP_2adapter=vmhba41channel=*target=*lun=*MP201filelocationMPP_2adapter=vmhba41channel=*target=*lun=*MP202runtimedriverMPP_3driver=megaraidMP202filedriverMPP_3driver=megaraidMP65535runtimevendorNMPvendor=*model=*此示例表示以下内容:nNMP声明与使用USB、SATA、IDE和块SCSI传输的存储设备相连的所有路径.
n默认情况下,MASK_PATH模块声明所有返回供应商字符串为DELL且型号字符串为UniversalXport的SCSI查询数据的路径.
MASK_PATH用于屏蔽主机的路径.
nMPP_1模块声明与任何型号NewVend存储阵列相连的所有路径.
nMPP_3模块声明由Mega-RAID设备驱动程序控制的存储设备的路径.
n未在先前的规则中描述的路径由NMP声明.
n输出中的"RuleClass"列说明声明规则的类别.
类别可以是MP(多路径插件)、Filter或VAAI.
n"Class"列显示已定义的规则和已加载的规则.
"Class"列中的file参数表示规则已定义.
runtime参数表示规则已被加载到系统中.
为了激活用户定义的声明规则,应存在两个具有相同规则编号的行,一行是具有file参数的规则,另一行是具有runtime的规则.
几个低编号的规则只有一行,其"Class"为runtime.
这些是系统定义的声明规则,您无法对其进行修改.
显示多路径模块使用vSphereCLI列出已加载到系统中的所有多路径模块.
多路径模块管理将主机与存储器相连的物理路径.
步骤u要列出所有多路径模块,请运行以下命令:esxclicorestoragepluginlist--plugin-class=MP此命令将至少返回NMP和MASK_PATH模块.
如果已加载任何第三方MPP,也会将它们一并列出.
显示主机的SATP使用vSphereCLI列出已加载到系统中的所有VMwareNMPSATP.
步骤u要列出所有VMwareSATP,请运行以下命令:esxclinmpsatplist对于每个SATP,该命令将显示如下信息:此SATP支持的存储阵列或系统的类型;使用此SATP的任何LUN的默认PSP.
iSCSISAN配置指南94VMware,Inc.
请记住以下事项:n如果声明规则未将任何SATP分配给设备,则iSCSI或FC设备的默认SATP将是VMW_SATP_DEFAULT_AA.
默认PSP是VMW_PSP_FIXED.
n如果已将VMW_SATP_ALUA分配给某特定存储设备,但该设备不能识别ALUA,则此设备将没有任何匹配的声明规则.
在这种情况下,设备将由默认SATP根据设备的传输类型进行声明.
n由VMW_SATP_ALUA声明的所有设备的默认PSP是VMW_PSP_MRU.
VMW_PSP_MRU选择由VMW_SATP_ALUA报告的主动/优化的路径,如果没有主动/优化的路径,则选择主动/未优化的路径.
在有更好的路径可用(MRU)之前,将一直使用此路径.
例如,如果VMW_PSP_MRU当前正在使用主动/未优化的路径,那么,当主动/优化的路径变为可用时,VMW_PSP_MRU会将当前路径切换到主动/优化的路径.
显示NMP存储设备使用vSphereCLI列出由VMwareNMP控制的所有存储设备,并显示与每个设备关联的SATP和PSP信息.
步骤1要列出所有存储设备,请运行以下命令:esxclinmpdevicelist2要显示特定设备的信息,请运行以下命令:esxclinmpdevicelist-ddevice_ID添加多路径声明规则使用vSphereCLI将新的多路径PSA声明规则添加到系统上的一组声明规则.
为了激活新声明规则,请先定义规则,然后将其加载到系统中.
例如,当加载新的多路径插件(MPP)并需要定义此模块应当声明的路径时,需要添加新的PSA声明规则.
如果添加新路径并需要用现有的MPP对它们进行声明,则可能需要创建一条声明规则.
小心在创建新声明规则时,请注意避免出现以下情况:相同LUN的不同物理路径由不同的MPP进行声明.
除非其中某个MPP是MASK_PATHMPP,否则,此配置将导致出现性能问题.
步骤1要定义新声明规则,请在vSphereCLI上运行以下命令:esxclicorestorageclaimruleadd有关命令所需选项的信息,请参阅第101页,"esxclicorestorageclaimrule选项".
2要将新声明规则加载到系统中,请运行以下命令:esxclicorestorageclaimruleload此命令会从系统的配置文件中加载所有新创建的多路径声明规则.
附录C管理多路径模块和硬件加速插件VMware,Inc.
95示例C-2定义多路径声明规则n添加编号为500的规则,为NMP插件声明型号字符串为NewMod以及供应商字符串为NewVend的所有路径.
#esxclicorestorageclaimruleadd-r500-tvendor-VNewVend-MNewMod-PNMP加载声明规则并运行esxclicorestorageclaimrulelist命令之后,可以看到新的声明规则出现在列表中.
注意声明规则的两行,一行中的"Class"为runtime,另一行中的"Class"为file,表示新声明规则已加载到系统中且处于活动状态.
RuleClassRuleClassTypePluginMatchesMP0runtimetransportNMPtransport=usbMP1runtimetransportNMPtransport=sataMP2runtimetransportNMPtransport=ideMP3runtimetransportNMPtransport=blockMP4runtimetransportNMPtransport=unknownMP101runtimevendorMASK_PATHvendor=DELLmodel=UniversalXportMP101filevendorMASK_PATHvendor=DELLmodel=UniversalXportMP500runtimevendorNMPvendor=NewVendmodel=NewModMP500filevendorNMPvendor=NewVendmodel=NewModn添加编号为321的规则,为NMP插件声明适配器vmhba0、通道0、目标0和LUN0上的路径.
#esxclicorestorageclaimruleadd-r321-tlocation-Avmhba0-C0-T0-L0-PNMPn添加编号为1015的规则,为NMP插件声明由光纤通道适配器提供的所有路径.
#esxclicorestorageclaimruleadd-r1015-ttransport-Rfc-PNMPn添加具有系统分配的规则ID的规则,为NMP插件声明由光纤通道类型的适配器提供的所有路径.
#esxclicorestorageclaimruleadd--autoassign-ttransport-Rfc-PNMP删除多路径声明规则使用vSphereCLI将多路径PSA声明规则从系统上的一组声明规则中移除.
步骤1从声明规则集中删除声明规则.
esxclicorestorageclaimruledelete-rclaimrule_ID有关命令使用的选项的信息,请参阅第101页,"esxclicorestorageclaimrule选项".
注意默认情况下,PSA声明规则101会屏蔽Dell阵列伪设备.
除非您要取消屏蔽这些设备,否则请不要删除此规则.
2从ESX/ESXi系统移除声明规则.
esxclicorestorageclaimruleload屏蔽路径可以阻止ESX/ESXi主机访问存储设备或LUN,或阻止其使用指向某个LUN的单个路径.
使用vSphereCLI命令可屏蔽路径.
屏蔽路径时,请创建声明规则,该规则将MASK_PATH插件分配给指定路径.
iSCSISAN配置指南96VMware,Inc.
步骤1检查下一个可用的规则ID是多少.
esxclicorestorageclaimrulelist用于屏蔽路径的声明规则的规则ID都应该在101–200范围内.
如果此命令显示规则101和102已经存在,则可以指定103来添加规则.
2通过为MASK_PATH插件创建新声明规则,将该插件分配给某个路径.
esxclicorestorageclaimruleadd-PMASK_PATH有关命令行选项的信息,请参见第101页,"esxclicorestorageclaimrule选项".
3将MASK_PATH声明规则加载到系统中.
esxclicorestorageclaimruleload4验证是否正确添加了MASK_PATH声明规则.
esxclicorestorageclaimrulelist5如果存在已屏蔽路径的声明规则,则将规则移除.
esxclicorestorageclaimingunclaim6运行路径声明规则.
esxclicorestorageclaimrulerun在将MASK_PATH插件分配给路径之后,路径状态变为不相关,且不再由主机进行维护.
因此,显示屏蔽路径信息的命令可能将路径状态显示为失效.
示例C-3屏蔽LUN在此示例中,屏蔽目标T1和T2上通过存储适配器vmhba2和vmhba3访问的LUN20.
1#esxclicorestorageclaimrulelist2#esxclicorestorageclaimruleadd-PMASK_PATH-r109-tlocation-Avmhba2-C0-T1-L20#esxclicorestorageclaimruleadd-PMASK_PATH-r110-tlocation-Avmhba3-C0-T1-L20#esxclicorestorageclaimruleadd-PMASK_PATH-r111-tlocation-Avmhba2-C0-T2-L20#esxclicorestorageclaimruleadd-PMASK_PATH-r112-tlocation-Avmhba3-C0-T2-L203#esxclicorestorageclaimruleload4#esxclicorestorageclaimrulelist5#esxclicorestorageclaimingunclaim-tlocation-Avmhba2#esxclicorestorageclaimingunclaim-tlocation-Avmhba36#esxclicorestorageclaimrulerun取消路径屏蔽当需要主机访问被屏蔽的存储设备时,请取消对该设备路径的屏蔽.
步骤1删除MASK_PATH声明规则.
esxcliconn_optionscorestorageclaimruledelete-rrule#2验证是否正确删除了此声明规则.
esxcliconn_optionscorestorageclaimrulelist附录C管理多路径模块和硬件加速插件VMware,Inc.
973将配置文件中的路径声明规则重新加载到VMkernel中.
esxcliconn_optionscorestorageclaimruleload4对指向被屏蔽的存储设备的每条路径运行esxclicorestorageclaimingunclaim命令.
例如:esxcliconn_optionscorestorageclaimingunclaim-tlocation-Avmhba0-C0-T0-L1495运行路径声明规则.
esxcliconn_optionscorestorageclaimrulerun您的主机即可访问之前被屏蔽的存储设备.
定义NMPSATP规则NMPSATP声明规则指定特定的存储设备应当由哪些SATP来管理.
通常不需要修改NMPSATP规则.
如果需要这样做,请使用vSphereCLI将规则添加到指定SATP的声明规则列表中.
当安装特定存储阵列的第三方SATP时,可能需要创建一条SATP规则.
步骤1要添加特定SATP的声明规则,请运行esxclinmpsatpaddrule命令.
该命令采用以下选项.
选项描述-c|--claim-option添加SATP声明规则时设置声明选项字符串.
当SATP声明路径时,此字符串将传递到SATP.
此字符串的内容和由此导致的SATP的行为方式,对每个SATP都是唯一的.
例如,某些SATP支持声明选项字符串tpgs_on和tpgs_off.
如果指定了tpgs_on,则仅当在存储设备上启用了ALUA目标端口组支持时,SATP才将声明路径.
-e|--description添加SATP声明规则时设置声明规则描述.
-d|--device添加SATP声明规则时设置设备.
设备规则与供应商/型号规则和驱动程序规则互斥.
-D|--driver添加SATP声明规则时设置驱动程序字符串.
驱动程序规则与供应商/型号规则互斥.
-f|--force强制声明规则在任何情况下均忽略有效性检查并安装规则.
-h|--help显示帮助消息.
-M|--model添加SATP声明规则时设置型号字符串.
供应商/型号规则与驱动程序规则互斥.
-o|--option添加SATP声明规则时设置选项字符串.
-P|--psp设置SATP声明规则的默认PSP.
-O|--psp-option设置SATP声明规则的PSP选项.
-s|--satp将为其添加新规则的SATP.
-R|--transport添加SATP声明规则时设置声明传输类型字符串.
-V|--vendor添加SATP声明规则时设置供应商字符串.
供应商/型号规则与驱动程序规则互斥.
注意当搜索SATP规则以查找给定设备的SATP时,NMP会首先搜索驱动程序规则.
如果没有匹配项,则搜索供应商/型号规则,最后搜索传输规则.
如果仍然没有匹配项,NMP将选择设备的默认SATP.
2要从指定SATP的声明规则列表中删除规则,请运行以下命令.
在运行此命令时可以使用与addrule相同的选项.
esxclinmpsatpdeleterule3重新引导主机.
iSCSISAN配置指南98VMware,Inc.
示例C-4定义NMPSATP规则以下示例命令将分配VMW_SATP_INV插件以管理供应商字符串为NewVend和型号字符串为NewMod的存储阵列.
#esxclinmpsatpaddrule-VNewVend-MNewMod-sVMW_SATP_INV如果运行esxclinmpsatplistrules-sVMW_SATP_INV命令,则可以看到新规则已添加到VMW_SATP_INV规则列表中.
管理硬件加速筛选器和插件硬件加速(或VAAI)筛选器与特定于供应商的VAAI插件一起被附加到支持硬件加速的存储设备.
通过vSphereCLI,可以显示和操作VAAI筛选器以及VAAI插件.
显示硬件加速筛选器使用vSphereCLI可查看当前加载到系统中的硬件加速(或VAAI)筛选器.
步骤u运行esxclicorestoragepluginlist--plugin-class=Filter命令.
此命令的输出与以下类似:PluginnamePluginclassVAAI_FILTERFilter显示硬件加速插件使用vSphereCLI可查看当前加载到系统中的硬件加速插件(也称为VAAI插件).
步骤u运行esxclicorestoragepluginlist--plugin-class=VAAI命令.
此命令的输出与以下类似:PluginnamePluginclassVMW_VAAIP_EQLVAAIVMW_VAAIP_NETAPPVAAIVMW_VAAIP_CXVAAI验证存储设备的硬件加速状态使用vSphereCLI可验证特定存储设备的硬件加速支持状态.
此命令还有助于确定附加到设备的VAAI筛选器.
步骤u运行esxclicorestoragedevicelist--ddevice_ID命令.
输出显示硬件加速(或VAAI)状态,该状态可以为未知、受支持或不受支持.
如果设备支持硬件加速,则输出还会列出附加到该设备的VAAI筛选器.
#esxclicorestoragedevicelist--dnaa.
60a98000572d43595a4a52644473374cnaa.
60a98000572d43595a4a52644473374cDisplayName:NETAPPFibreChannelDisk(naa.
60a98000572d43595a4a52644473374c)Size:20480DeviceType:Direct-AccessMultipathPlugin:NMPDevfsPath:/vmfs/devices/disks/naa.
60a98000572d43595a4a52644473374cVendor:NETAPP附录C管理多路径模块和硬件加速插件VMware,Inc.
99Model:LUNRevision:8000SCSILevel:4IsPseudo:falseStatus:onIsRDMCapable:trueIsLocal:falseIsRemovable:falseAttachedFilters:VAAI_FILTERVAAIStatus:supportedOtherUIDs:vml.
020003000060a98000572d43595a4a52644473374c4c554e202020查看设备的硬件加速插件使用vSphereCLI可查看附加到支持硬件加速的存储设备的硬件加速(或VAAI)插件.
步骤u运行esxclivaaidevicelist--ddevice_ID命令.
例如:#esxclivaaidevicelist-dnaa.
6090a028d00086b5d0a4c44ac672a233naa.
6090a028d00086b5d0a4c44ac672a233DeviceDisplayName:EQLOGICiSCSIDisk(naa.
6090a028d00086b5d0a4c44ac672a233)VAAIPluginName:VMW_VAAIP_EQL列出硬件加速声明规则对于支持硬件加速功能的每个存储设备,声明规则会指定硬件加速筛选器和硬件加速插件来管理此存储设备.
可以使用vSphereCLI列出硬件加速筛选器和插件声明规则.
步骤1要列出筛选器声明规则,请运行esxclicorestorageclaimrulelist--claimrule-class=Filter命令.
在此示例中,筛选器声明规则指定应由VAAI_FILTER筛选器声明的设备.
#esxclicorestorageclaimrulelist--claimrule-class=FilterRuleClassRuleClassTypePluginMatchesFilter65430runtimevendorVAAI_FILTERvendor=EMCmodel=SYMMETRIXFilter65430filevendorVAAI_FILTERvendor=EMCmodel=SYMMETRIXFilter65431runtimevendorVAAI_FILTERvendor=DGCmodel=*Filter65431filevendorVAAI_FILTERvendor=DGCmodel=*2要列出VAAI插件声明规则,请运行esxclicorestorageclaimrulelist--claimrule-class=VAAI命令.
在此示例中,VAAI声明规则指定应由特定VAAI插件声明的设备.
esxclicorestorageclaimrulelist--claimrule-class=VAAIRuleClassRuleClassTypePluginMatchesVAAI65430runtimevendorVMW_VAAIP_SYMMvendor=EMCmodel=SYMMETRIXVAAI65430filevendorVMW_VAAIP_SYMMvendor=EMCmodel=SYMMETRIXVAAI65431runtimevendorVMW_VAAIP_CXvendor=DGCmodel=*VAAI65431filevendorVMW_VAAIP_CXvendor=DGCmodel=*iSCSISAN配置指南100VMware,Inc.
添加硬件加速声明规则要为新阵列配置硬件加速,需要添加两个声明规则,一个用于VAAI筛选器,而另一个用于VAAI插件.
要激活新声明规则,首先需要定义这些规则,然后将它们加载到系统中.
步骤1使用esxclicorestorageclaimruleadd--claimrule-class=Filter--plugin=VAAI_FILTER命令,为VAAI筛选器定义新声明规则.
有关命令所需选项的信息,请参阅第101页,"esxclicorestorageclaimrule选项".
2使用esxclicorestorageclaimruleadd--claimrule-class=VAAI命令,为VAAI插件定义新声明规则.
3使用以下命令加载这两个声明规则:esxclicorestorageclaimruleload--claimrule-class=Filteresxclicorestorageclaimruleload--claimrule-class=VAAI4使用esxclicorestorageclaimrulerun--claimrule-class=Filter命令,运行VAAI筛选器声明规则.
注意只需要运行Filter类规则.
当VAAI筛选器声明设备时,会自动查找要附加的适当VAAI插件.
示例C-5定义硬件加速声明规则要为使用VMW_VAAI_T10插件的IBM阵列配置硬件加速,请使用以下命令序列:#esxclicorestorageclaimruleadd--claimrule-class=Filter--plugin=VAAI_FILTER--type=vendor--vendor=IBM--autoassign#esxclicorestorageclaimruleadd--claimrule-class=VAAI--plugin=VMW_VAAI_T10--type=vendor--vendor=IBM--autoassign#esxclicorestorageclaimruleload--claimrule-class=Filter#esxclicorestorageclaimruleload--claimrule-class=VAAI#esxclicorestorageclaimrulerun--claimrule-class=Filter删除硬件加速声明规则使用vSphereCLI可删除现有硬件加速声明规则.
步骤u您可使用以下命令:esxclicorestorageclaimruledelete-rclaimrule_ID--claimrule-class=Filteresxclicorestorageclaimruledelete-rclaimrule_ID--claimrule-class=VAAIesxclicorestorageclaimrule选项某些esxclicorestorageclaimrule命令(例如为添加新声明规则、移除规则或屏蔽路径而运行的命令)需要您指定多个选项.
表C-1esxclicorestorageclaimrule选项选项描述-A|--adapter表示此操作中要使用的路径的适配器.
-u|--autoassign系统将自动分配规则ID.
附录C管理多路径模块和硬件加速插件VMware,Inc.
101表C-1esxclicorestorageclaimrule选项(续)选项描述-C|--channel表示此操作中要使用的路径的通道.
-c|--claimrule-class表示此操作中要使用的声明规则类.
有效值为:MP、Filter和VAAI-d|--device表示要用于此操作的设备UID.
-D|--driver表示此操作中要使用的路径的驱动程序.
-f|--force强制声明规则在任何情况下均忽略有效性检查并安装规则.
-h|--help显示帮助消息.
-L|--lun表示此操作中要使用的路径的LUN.
-M|--model表示此操作中要使用的路径的型号.
-P|--plugin表示要用于此操作的PSA插件.
-r|--rule表示要用于此操作的声明规则ID.
-T|--target表示此操作中要使用的路径的目标.
-R|--transport表示此操作中要使用的路径的传输.
有效值为:block、fc、iscsi、iscsivendor、ide、sas、sata、usb、parallel和unknown.
-t|--type表示用于声明/取消声明或声明规则的匹配类型.
有效值为:vendor、location、driver、transport和device.
-V|--vendor表示要在此操作中使用的路径的供应商.
iSCSISAN配置指南102VMware,Inc.
索引B被动磁盘阵列,路径抖动80备份第三方备份软件包83注意事项82本机多路径插件18,19标头摘要12C测试,存储系统45插件多路径93硬件加速93查看信息13CHAP单向38对于发现目标40对于iSCSI启动器39对于静态目标40禁用41双向38CHAP身份验证11,38,67CHAP身份验证方法38重新扫描路径发生故障时68路径屏蔽68LUN创建67,68LUN的显示23LUN屏蔽67磁盘超时75磁盘访问,平衡81磁盘份额16磁盘阵列主动-主动26,73主动-被动26,73,80从iSCSISAN引导iBFT55配置HBA54配置iSCSI设置55软件iSCSI55硬件iSCSI54准备SAN54准则53从属硬件iSCSI查看适配器29关联的网卡29配置工作流程28注意事项29存储器虚拟化8存储区域网络7存储筛选器禁用70RDM70VMFS70相同主机和传输70主机重新扫描70存储设备标识符66查看信息64路径72命名65通过适配器可访问66显示95硬件加速状态99主机可用的65存储适配器将名称复制到剪贴板64在vSphereClient中查看63在vSphereClient中显示64存储系统DellPowerVaultMD3000i51EMCCLARiiON46EMCSymmetrix47EqualLogic51HPStorageWorks47LeftHandNetworksSAN/iQ51类型11NetApp48性能76存储阵列类型插件19D当前的多路径状况72单向CHAP38DellPowerVaultMD3000i存储系统51低端存储器22第三方备份软件包83第三方管理应用程序14Disk.
MaxLUN69Disk.
SchedNumReqOutstanding81VMware,Inc.
103Disk.
SupportSparseLUN69丢失网络连接,故障排除59动态发现,配置37动态发现地址37端口绑定,示例35端口绑定,移除35端口重定向21队列深度25,81对照表89多路径备用路径72查看当前的状况72活动路径72为软件iSCSI激活34已断开路径72已禁用路径72多路径策略73多路径插件,路径声明71多路径声明规则删除96添加95多路径状况72EEMCCLARiiON46EMCSymmetrix,伪LUN47EqualLogic,存储系统51ESX/ESXi主机共享VMFS14和iSCSISAN63esxclicorestorageclaimrule命令91esxclicorestorage命令,选项101ESXi,配置为网络转储60EUI9EVA(HPStorageWorks)48F访问控制11发现地址37动态37静态37分层应用程序83分配,LUN26FilerView49服务器故障22服务器故障切换23服务器性能77负载平衡,手动74G高端存储器22高级设置Disk.
MaxLUN69Disk.
SchedNumReqOutstanding81Disk.
SupportSparseLUN69共享诊断分区76挂载VMFS数据存储84"固定的"路径策略,路径抖动80故障,服务器22故障排除丢失网络连接59更改iSCSI引导参数59故障切换I/O延迟21透明11故障切换路径,状态72HHPLeftHandP4000VSA51HPStorageWorksEVA48MSA47II/O延迟21,25iBFT55iBFTiSCSI引导安装ESXi主机57更改引导顺序57故障排除59设置ESXi56网络最佳做法58限制56引导ESXi主机58IP地址9IQN9iSCSI,具有多个网卡32iSCSI别名9iSCSI存储器,添加44iSCSI存储系统,与ESX/ESXi配合使用45iSCSI端口9iSCSIHBA,别名27iSCSI会话复制43管理42为目标添加43显示43移除44iSCSI名称,约定9iSCSI启动器高级参数41配置CHAP39配置高级参数42设置CHAP参数38iSCSISAN配置指南104VMware,Inc.
硬件27在vSphereClient中查看63iSCSISAN概念8引导53iSCSI适配器关于25软件10硬件10iSCSI网络,创建VMkernel端口32iSCSI引导,iBFT55iSCSI引导参数,配置57iSCSI引导固件表,,请参见iBFTJ教育支持5静态发现,配置37静态发现地址37禁用路径74技术支持5基于文件(VMFS)的解决方案84基于阵列的解决方案83卷再签名84,85巨帧为从属硬件iSCSI启用36为软件iSCSI启用36与iSCSI配合使用35K可插入存储架构18可见性问题67跨服务器共享VMFS14快照软件83LLeftHandNetworksSAN/iQ存储系统51LinuxCluster主机类型46Linux主机类型46路径禁用74屏蔽96取消屏蔽97首选72路径策略更改默认值74固定的19,21,73MRU73循环19,73最近使用19,73路径抖动,解决81路径管理17,74路径故障重新扫描68路径故障切换基于阵列21基于主机的20路径旁边的*72路径旁边的星号72路径声明71路径选择插件19LUN创建和重新扫描67,68多路径策略73分配26更改扫描的数目69进行更改和重新扫描68决定15屏蔽96设置多路径策略73显示与重新扫描23稀疏69一个VMFS卷25LUN不可见,SP可见性67LUN发现,VMkernel23LUN决定预测性方案16自适应性方案16M命令esxclicorestorageclaimrule91resxtop91vicfg-mpath91vicfg-iscsi91vmkping92MPP显示94另请参见多路径插件MRU路径策略73MSA(HPStorageWorks)47MTU36目标10目标和LUN10NNAA9NetApp在CLI上置备存储器50在FilerView上置备存储器49NetApp存储系统48NFS数据存储,卸载85NMPI/O流19路径声明71另请参见本机多路径插件索引VMware,Inc.
105P配置动态发现37iSCSI存储器44静态发现37屏蔽LUN96平衡磁盘访问81PSA,,请参见可插入存储架构PSP,,请参见路径选择插件Q区分虚拟机优先级16Rresxtop命令91软件iSCSI和故障切换20网络31软件iSCSI启动器配置30启用30设置发现地址37软件iSCSI适配器,队列深度81软件iSCSI引导,更改设置59SSAN备份注意事项82访问17服务器故障切换23故障排除76详细信息13优点12SAN存储器性能,优化76SAN管理软件14SAN限制,当使用ESX/ESXi时26扫描,更改数目69SATP添加规则98显示94另请参见存储阵列类型插件SCSI控制器8SCSI预留,减少82身份验证11,38,67声明规则71手动负载平衡74首选路径72双向CHAP38数据存储管理副本84挂载84检查属性67路径72刷新68显示66卸载85在iSCSI存储器上创建44数据存储副本,挂载84数据摘要12SP可见性,LUN不可见67TTimeoutValue参数25VVAAI插件设备列表100显示99VAAI筛选器,显示99VAAI声明规则定义101删除101VAAI插件100VAAI筛选器100vicfg-mpath命令91vicfg-module81vicfg-iscsi命令91vMA,收集网络转储60vMA,配置为网络转储60VMFS卷再签名84跨ESX/ESXi主机共享14每个LUN一个卷25VMFS卷再签名84VMFS数据存储更改签名86卸载85再签名副本85VMkernel,LUN发现23VMkernel端口33VMkernel接口,已启用巨帧36vmkping命令92vMotion12,13,26,46VMwareDRS,使用vMotion26VMwareHA12,22,46VMwareNMPI/O流19另请参见本机多路径插件VMwarePSP,,请参见路径选择插件VMwareSATP,,请参见存储阵列类型插件vSphereCLI34vSphereClient91vSwitch,已启用巨帧36W网卡,映射到端口33iSCSISAN配置指南106VMware,Inc.
网络,配置26网络适配器,配置以进行iBFTiSCSI引导57网络性能77网络虚拟化7网络转储配置ESXi60配置vMA60维护13未完成磁盘请求81问题可见性67性能79WindowsGOS超时75X性能存储系统76检查以太网交换机统计信息79SCSI预留14网络77问题79优化76稀疏LUN支持69"循环"路径策略19,73虚拟化7虚拟机访问SAN17I/O延迟21平衡磁盘访问81区分优先级16位置22虚拟机的位置22Y硬件iSCSI,和故障切换20硬件iSCSI启动器安装27查看27更改iSCSI名称27配置27设置发现地址37设置命名参数27硬件iSCSI适配器从属10独立10硬件加速关于86禁用87删除声明规则101要求86优点86状态87硬件加速插件93应用程序,分层83用例13元数据更新15预测性方案16预留,减少SCSI预留82Z灾难恢复13诊断分区,共享76中端存储器22转储分区,共享76主动-被动磁盘阵列管理路径74路径抖动80主动-主动磁盘阵列,管理路径74主机类型46自适应性方案16"最近使用"路径策略,路径抖动80索引VMware,Inc.
107iSCSISAN配置指南108VMware,Inc.
IncogNet LLC是个由3个人运作的美国公司,主要特色是隐私保护,号称绝对保护用户的隐私安全。业务涵盖虚拟主机、VPS等,支持多种数字加密货币、PayPal付款。注册账号也很简单,输入一个姓名、一个邮箱、国家随便选,填写一个邮箱就搞定了,基本上不管资料的真假。当前促销的vps位于芬兰机房,全部都是AMD Ryzen系列的CPU,性能不会差的!5折优惠码:CRYPTOMONTH,支持:BTC,...
IntoVPS是成立于2004年的Hosterion SRL旗下于2009年推出的无管理型VPS主机品牌,商家提供基于OpenStack构建的VPS产品,支持小时计费是他的一大特色,VPS可选数据中心包括美国弗里蒙特、达拉斯、英国伦敦、荷兰和罗马尼亚等6个地区机房。商家VPS主机基于KVM架构,最低每小时0.0075美元起($5/月)。下面列出几款VPS主机配置信息。CPU:1core内存:2GB...
官方网站:点击访问创梦网络宿迁BGP高防活动方案:机房CPU内存硬盘带宽IP防护流量原价活动价开通方式宿迁BGP4vCPU4G40G+50G20Mbps1个100G不限流量299元/月 209.3元/月点击自助购买成都电信优化线路8vCPU8G40G+50G20Mbps1个100G不限流量399元/月 279.3元/月点击自助购买成都电信优化线路8vCPU16G40G+50G2...
网卡的功能为你推荐
百度k站百度是怎么样k站的呢?网络明星网络明星是怎样成名的呢?如何又是网络明星呢?!!支付宝查询余额我的支付宝如何查询余额依赖注入依赖注入是什么意思?godaddyGodaddy域名怎么接受人人逛街人人逛街评论怎么不显示链接了?好像4月28日就不能显示了。是什么原因呢?人人逛街人人都喜欢逛街吗如何清理ie缓存怎么清理IE缓存微信怎么看聊天记录怎样查找一个人的微信聊天记录域名库域名赎回期过了多长时间可以注册
jsp虚拟主机 备案域名查询 域名注册godaddy 郑州服务器租用 工信部域名备案系统 winhost 韩国空间 三拼域名 京东商城双十一活动 免费个人空间申请 北京双线机房 什么是刀片服务器 如何安装服务器系统 流媒体加速 cloudlink 空间首页登陆 建站技术 中国域名根服务器 日本小学生 瓦工工具 更多