状态localhost

H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第i页,共42页H3CVCFC日常维护指导书新华三技术有限公司H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第ii页,共42页修订记录日期修订版本描述作者H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第iii页,共42页目录第1章日常维护建议.
21.
1VCFC产品日常维护建议.
21.
2VCFC产品运维建议.
2第2章维护操作指导.
52.
1H3CVCFC产品日常维护操作指导52.
2H3CVCFC产品季度维护操作指导62.
3H3CVCFC产品年度维护操作指导7第3章维护记录表格.
83.
1H3CVCFC软件安装质量检查表.
83.
2H3CVCFC产品日常维护值班日志93.
3H3CVCFC产品季度维护记录表.
113.
4H3CVCFC产品年度维护记录表.
133.
5H3CVCFC产品突发问题处理记录表153.
6硬件更换及软件升级记录表163.
7故障处理记录表17第4章VCFC维护监控功能.
184.
1运维概览184.
2控制器信息.
204.
3虚拟网络信息.
204.
4控制器日志.
224.
5设备信息224.
6Openflow跟踪.
224.
7信息导出234.
8物理网元信息.
234.
9NFV网元状态.
244.
10虚拟端口状态.
25第5章VCFC日志诊断收集.
255.
1日志信息255.
2SYSLOG功能.
275.
3诊断信息28第6章VCFC后台信息查看.
296.
1查看系统CPU.
296.
2查看系统内存.
30H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第iv页,共42页6.
3查看系统硬盘.
316.
4控制器关键进程和端口号状态检查326.
4.
1查看系统CPU错误!
未定义书签.
6.
4.
2SDNC进程的状态检查.
326.
4.
3SDNA进程的状态检查.
336.
4.
4Postgresql数据库进程的状态检查.
336.
4.
5Zookeeper进程的状态检查.
336.
4.
62181端口状态检查346.
4.
79172端口状态检查356.
4.
86633端口状态检查356.
4.
9检查操作系统以及keystore中hostname与ip映射关系是否正确.
366.
4.
10检查操作系统用户与用户组是否修改376.
4.
11检查VCFC系统日志数量级.
38第7章VCFC巡检387.
1VCFC集群数据一致性检查.
38H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第1页,共42页H3CVCFC日常维护指导书关键词:SDN、VCFC、系统维护摘要:此指导书用于指导H3CVCFC的日常维护使用,主要描述用户维护部门周期性(每天、每周、每月、每年)对H3CVCFC进行健康性检查的相关事项.
适用对象:本文档适用于维护H3CVCFC的工程师缩略语:缩略语英文全名中文解释SDNSoftwaredefinedNetworking软件定义网络VCFCVirtualConvergedFrameworkController虚拟融合架构控制器H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第2页,共42页第1章日常维护建议维护范围:日常维护主要涉及的范围是虚拟网元以及物理网元以及管理维护系统的监控(VCFC控制台).
维护手段:巡检、优化、处理投诉、保障等1.
1VCFC产品日常维护建议尊敬的用户:感谢您使用H3C公司的VCFC产品.
系统运行的正常、稳定是我们共同的愿望,为了我们共同的目标,请您重视以下建议并参照《日常维护建议指导书》进行必要的日常维护.
1、VCFC产品的使用涉及到多种业务知识,应安排受过专业培训的专人进行日常维护.
2、保持机房清洁干净,防尘防潮,防止虫鼠进入.
3、每天参照《H3CVCFC日常维护指导书》中内容对设备进行例行检查和测试,并记录检查结果.
4、用于系统管理、设备维护和业务操作的用户名和口令应该严格管理,定期更改,并只向特定相关人员发放.
5、严禁向设备维护终端和WEB客户端主机装入业务无关软件,严禁用设备维护终端和WEB客户端主机玩游戏.
维护终端和WEB客户端主机应该定期杀毒.
6、遇有不明原因告警,请迅速与代理商工程师或者H3C公司服务热线联系(400-8100504/800-8100504).
7、调整线缆一定要慎重,调整前要作标记,以防误接.
8、对设备硬件进行操作时应戴防静电手腕.
9、对设备进行复位、改动业务数据之前做好备份工作.
10、在对设备版本进行升级前,请详细阅读《版本说明书》中的升级指导,并全面备份相关配置.
VCFC产品日常的维护工作内容主要有季度巡检、故障处理、投诉处理、网络整改、通信保障等.
季度巡检:定期对所有WLAN站点进行一次现场巡检,对巡检时发现的问题现场进行处理并登记.
故障处理:主要通过网管系统发现故障并根据故障性质进行处理.
用户投诉:用户投诉要求在接到投诉后一定时限内赶到现场进行处理,处理完要求回访客户进行故障恢复确认.
网络优化:针对客户投诉、会议保障以及站点性质变化所作的较大的网络调整.
通讯保障:当有重大事情时会要求运维人员进行现场保障通信设备的稳定性.
1.
2VCFC产品运维建议1、确认所使用的软件版本.
2、准备用于安装软件的服务器硬件资源.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第3页,共42页3、按照方案要求预留地址资源,并完成基础网络配置和连通性检查.
4、确保服务器能够访问Internet,并完成操作系统的安装和安全更新.
5、按照设计的网络拓扑进行线路连接,保证线路质量和走线方式符合要求.
6、根据开局设计的网络建设方案,进行各项配置并测试功能是否符合预期.
VCFC以其特殊性,在使用维护过程中需要关注许多方面,并以负责任的态度履行注意事项:确保服务器安装于物理服务器而非虚拟机上,并确保硬件资源(CPU、内存、硬盘)不低于产品安装指导书中的最低要求建议服务器配置NTP服务,这对后期维护工作中定位问题至关重要.
2、设备运维巡检及问题处理方式(1)定期检查设备VCFC配置台上相关信息,根据相关异常指示对问题进行定位状态类型及标识状态说明控制器状态显示控制器的角色及运行状态:蓝色:处于正常Active状态的控制器灰色:处于异常Down状态的控制器Leader*:集群中的主Leader控制器Leader:集群中的备Leader控制器Member:集群中的Member控制器集群状态active:控制器处于正常active状态集群状态down:控制器处于异常down状态配置恢复状态true:控制器处于配置已经恢复状态配置恢复状态false:控制器处于配置未恢复状态S1020V连接状态连接:与Region内两台控制器均建立了连接单连接:只与Region中一台控制器建立了连接未连接:未能与控制器建立连接物理网元连接状态Active:物理网元处于激活状态Inactive:物理网元处于未激活状态虚拟端口状态UP:虚拟端口处于正常状态DOWN:虚拟端口处于非正常状态(2)定期检查设备Openflow相关信息,确认设备与控制器之间Openflow连接是否正常Openflow连接状态Master:当前Openflow主连接Slave:当前Openflow备连接Idle:当前Openflow未连接Equal:当前Openflow连接未选举出主备(3)VCFC需要以集群方式运行,组网中应避免单点故障引起集群分裂或控制器与网元之间openflow断连H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第4页,共42页(4)VCFC需要检查License的有效期,避免因为临时License过期导致业务中断.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第5页,共42页第2章维护操作指导2.
1H3CVCFC产品日常维护操作指导维护类别维护项目操作指导参考标准外部环境检查电源(直流/交流)查看电源监控系统或测试电源输出电压.
电压输出正常,电源无异常告警.
温度(正常0~35℃)检查机房的灰尘含量.
每平方米灰尘颗粒数量≤3*104(3天内桌面无可见灰尘)注:灰尘粒子直径≥5μm直观判断:三天内桌面无可见灰尘为好湿度(正常20%~80%)测试机房温度.
温度范围:0℃-35℃;建议为15℃-25℃.
机房清洁度(灰尘含量)测试相对湿度.
相对湿度:20%-80%(无冷凝)其他状况(火警、烟尘)查看消控系统告警状态消控系统无告警;服务器运行状态检查查看系统CPU参照本指导书第6章节服务器CPU利用率不得大于80%查看系统内存参照本指导书第6章节内存利用率不得大于80%查看系统网卡聚合状态参考本指导书第6章节聚合状态正常查看系统硬盘参照本指导书第6章节硬盘空间利用率不得超过90%查看VCFC相关进程状态参照本指导书第6章节相关进程运行正常软件运行状态检查查看控制器状态在【运维监控-控制器信息】中查看控制器状态控制器状态显示Active:查看S1020V连接状态在【运维监控-虚拟网络信息】中查看vSwitch的连接状态连接状态显示正常,无断开连接的图示:查看物理网元连接状态在【承载网络-物理网元】中查看物理网元的状态设备状态显示Active:H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第6页,共42页查看NFV网元连接状态在【承载网络-VNF网元】中选择"NFV资源",在VNF资源列表中点击"资源节点列表"标识,查看节点状态NFV节点状态显示Active:查看NGFWM网元连接状态在【承载网络-VNF网元】中选择"NGFW资源",在资源列表中点击"资源节点列表"标识,查看节点状态NGFWM节点状态显示Active:查看告警日志(建议部署syslog服务器进行日志监控)在【运维监控-系统日志】中查看是否存在error及以上级别的日志无error及以上级别的系统日志查看License状态在【控制器-license管理】中查看是否有license不可用或者数量不足的情况无不可用license/数量型license数量足够2.
2H3CVCFC产品季度维护操作指导维护类别维护项目操作指导参考标准软件维护查看控制器状态参见日常维护指导参见日常维护指导查看S1020V状态参见日常维护指导参见日常维护指导查看物理网元状态参见日常维护指导参见日常维护指导查看NFV网元连接状态参见日常维护指导参见日常维护指导查看NGFWM网元连接状态参见日常维护指导参见日常维护指导查看告警日志参见日常维护指导参见日常维护指导季度维护更改VCFC所在服务器的操作系统密码参照操作系统的命令行使用指导H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第7页,共42页更改VCFC登录密码在【控制器-系统管理-用户配置】中修改管理员密码如存在云平台,修改VCFC登录密码后,需要相应修改云平台中VCFC插件配置的VCFC密码查看License状态在【控制器-license管理】中查看是否有license不可用或者数量不足的情况无不可用license/数量型license数量足够查看软件数据一致性使用第7章节提供的巡检脚本无数据不一致服务器负载情况(CPU/内存/硬盘)检查参照操作系统的命令行使用指导机柜清洁检查观察机柜内部和外部的清洁状况.
机柜表面清洁,机框内部灰尘不得过多,否则必须清理.
值班电话状态检查值班电话拨入、拨出情况(1)值班电话可顺利拨入;(2)值班电话可顺利拨出;(3)话机工作正常;2.
3H3CVCFC产品年度维护操作指导维护类别维护项目操作指导参考标准接地、地线、电源线、业务线缆连接检查地阻检查使用地阻仪测试地阻.
联合接地地阻小于1欧姆.
地线连接检查检查机柜接地线与局方地线排连接是否安全可靠.
(1)各连接处安全、可靠无腐蚀.
(2)地线无老化.
(3)地线排无腐蚀,防腐蚀处理得当.
电源线连接检查检查电源线与局方电源连接是否安全可靠.
(1)各连接处安全、可靠无腐蚀.
(2)电源线无老化.
业务线缆连接及布放检查业务线缆是否与设备及配线架连接牢靠,业务线缆标识清晰.
(1)各连接处安全、可靠无腐蚀.
(2)布线整齐、清洁、标识清晰.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第8页,共42页电源检查UPS电源检查检查UPS的输出电压是否稳定;在市电断电之后UPS是否继续稳定供电;(1)UPS的输出电压稳定(2)市电断电之后UPS的继续稳定供电第3章维护记录表格3.
1H3CVCFC软件安装质量检查表工程名称局点主要设备合同号客户联系人电话序号准备项目要求安装质量备注良好需改进1设备软件的运行状态能够访问集群IP能够快速打开VCFCUI配置台,操作无明显卡顿2查看VCFC运维概览视图视图中控制器、虚拟网元、物理网元状态均正常3软件安装环境要求使用物理服务器4服务器硬件要求符合产品的版本说明书要求5不合格项目合计6计划整改完成日期检查人员(施工方):客户:年月日H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第9页,共42页3.
2H3CVCFC产品日常维护值班日志日期:年月日值班时间:时至时交班人:接班人:维护类别维护项目维护状况备注维护人设备运行环境电源(直流/交流)正常不正常温度(正常0~35℃)正常不正常湿度(正常20%~80%)正常不正常机房清洁度(灰尘含量)好差其他状况(火警、烟尘)正常不正常VCFC运行状态检查查看操作系统运行情况正常不正常查看VCFC告警信息正常不正常查看控制器状态正常不正常查看S1020V连接状态正常不正常查看物理网元状态正常不正常查看NFV网元连接状态正常不正常查看NGFWM网元连接状态正常不正常查询/导出日志正常不正常业务操作检查抽检业务连通性正常不正常故障情况及其处理H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第10页,共42页遗留问题班长核查H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第11页,共42页3.
3H3CVCFC产品季度维护记录表维护周期:年月日至年月日维护类别维护项目维护状况备注维护人软件维护查看控制器状态正常不正常查看S1020V连接状态正常不正常查看物理网元连接状态正常不正常查看NFV网元连接状态正常不正常查看NGFWM网元连接状态正常不正常更改VCFC登录密码完成未完成管理网连通性检查正常不正常抽检业务连通性正常不正常机柜清洁检查正常不正常值班电话状态正常不正常发现问题及处理情况记录遗留问题说明H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第12页,共42页班长核查H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第13页,共42页3.
4H3CVCFC产品年度维护记录表维护周期:年月日至年月日维护类别维护项目维护状况备注维护人接地、地线、电源线、业务线缆连接检查地阻检查正常不正常地线连接检查正常不正常电源线连接检查正常不正常业务线缆连接及布放检查正常不正常电源检查UPS电源检查正常不正常操作系统检查检查操作系统CPU、内存、硬盘正常不正常发现问题及处理情况记录H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第14页,共42页遗留问题说明班长核查H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第15页,共42页3.
5H3CVCFC产品突发问题处理记录表发生时间:解决时间:值班人:处理人:问题类别:VCFC软件问题操作系统问题服务器硬件问题客户端问题电网供电/UPS问题接地或电源连接问题设备安装问题操作问题其他(温度、湿度、鼠害、电磁干扰等)不可抗力(洪水、飓风、地震等)其他设备设备名称:生产厂家:设备名称:生产厂家:设备名称:生产厂家:故障描述:处理方法及结果:H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第16页,共42页3.
6硬件更换及软件升级记录表更换/升级原因原服务器名称/软件版本新服务器名称/软件版本数量日期执行人H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第17页,共42页3.
7故障处理记录表修改人修改时间修改原因修改内容H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第18页,共42页第4章VCFC维护监控功能通过运维监控功能可以查看H3CVCF控制器和SDN网络的运维信息,如下图:4.
1运维概览运维概览通过图示的方式展现了当前SDN网络的概要信息.
通过运维概览可以直观地了解当前控制器状态、虚拟网络概要信息以及日志统计信息,如下图:在控制器视图中可以看到各成员的角色信息与状态信息,如果成员处于down状态需要进一步确认原因.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第19页,共42页在日志视图中显示的日志的统计图,可以通过点击下方图标显示或隐藏指定类型的日志信息,除提示类型的日志外,其他类型的日志都需要关注,检查系统是否发生了异常.
在虚拟网络视图中显示了Network、Subnet、vRoute和Port的数量和状态的统计图信息,蓝色为活动状态,运行正常,灰色为非活动状态,通过点击下方的图标按钮,可以显示或隐藏指定状态的信息.
处于非活动状态的元素需要进一步确认原因(虚机未上电、网络不通、配置问题或软件bug等).
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第20页,共42页4.
2控制器信息用于查看控制器的集群和Region配置信息、成员的运行角色和状态、openflow的连接数等信息,如下图:如果成员状态处于"down"状态,在"备注"栏中会给出提示信息,提示信息说明了成员处于down状态的原因,提示信息及说明如下:4.
3虚拟网络信息/虚拟化主机状态以图形的方式显示Controller和vSwitch的连接情况以及vSwitch上端口连接信H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第21页,共42页息,最多显示10个vSwitch与控制器的连接关系.
通过连线能够看到vSwitch与主备控制器的断开连接状况.
在"虚拟网络/计算域/主机"页面,显示了当前vSwitch信息情况,选择具体"虚拟交换机桥".
其中,主用控制器:当前控制此vSwitch的VCF控制器的IP地址和状态.
备用控制器:与此vSwitch相连的第二个控制器,当主用控制器出现故障时,将有备用控制器对此vSwitch进行控制.
虚拟交换机桥的"连接状态",包括连接、无连接和配置不可用三种状态.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第22页,共42页4.
4控制器日志操作日志:操作日志记录的是用户进行的系统操作、配置更改等事件.
系统日志:系统日志用于通知用户控制器运行的内部事件.
VCF控制器的系统日志管理模块为用户提供了查看系统日志信息、标记系统日志信息的功能.
下图为系统日志界面,图中用红色框住的按钮为日志标记按钮,用于标记已经被确认过的日志,例如:系统日志中产生了一条告警日志,经处理问题解决或确认为非问题,将该条日志标记为已知,这样方便区分后续新增的日志.
控制器的日志可点击下图中导出按钮导出到本地.
4.
5设备信息VCF控制器的设备信息页面为用户提供了查看网络设备的概要、端口、流表及组表信息的功能.
当发生转发类问题时,可以在该页面查看vSwitch的端口状态是否为live或流表是否存在等信息.
4.
6Openflow跟踪OpenFlow跟踪是在集群当前Leader上抓取指定OpenFlow设备的OpenFlow协议报文.
当前Leader会将抓取请求同步到该OpenFlow设备连接的控制器,控制器将抓取结果发送到当前Leader上,用户可以在当前Leader上看到抓取结果.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第23页,共42页4.
7信息导出该功能用于将汇总信息、控制器信息、虚拟网络信息和流表信息导出到文件.
该功能是为用户提供控制器运行情况的统计数据,用于制作报表.
4.
8物理网元信息在物理网元页面中可以查看物理设备的状态信息、所属的Region、VTEP-IP等信息,详细如下图:H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第24页,共42页物理网元信息:用于查看所有的物理网络设备,设备类型分别为:网关设备:即物理网关设备,该类型设备可以负责原始以太网报文的VXLAN封装和解封装,处理不同VXLAN之间的报文通信,同时数据中心内部网络与外部网络的报文通信也需要通过网关设备,主要以高性能物理交换机为主.
可以加入到网关组中,作为网关组的成员设备.
网关服务设备:即物理网关服务设备(如多业务安全网关、负载均衡器等),该类型设备可以旁挂在网关组边上,作为网关组的服务设备.
接入设备:即物理接入设备,该类型设备可以负责原始以太网报文的VXLAN封装和解封装,VLAN报文与VXLAN报文之间的映射和转发,主要以物理交换机为主.
可以作为不支持VXLAN设备的接入设备.
Underlay物理设备:一种OpenFlow设备,目前用于探测两个VXLAN隧道端点之间的Underlay网络路径.
4.
9NFV网元状态该功能用于查看NFVManager连接信息和已创建的NFV资源,并可以对NFVManager连接信息进行配置.
NFV资源即软件网络功能虚拟化资源,包括NFVManager创建的虚拟网关、vFW、vLB等相关信息.
资源类型如下:VSR:表示该资源提供的是网关服务.
vFW:表示该资源提供的是防火墙服务.
vLB:表示该资源提供的是负载均衡服务.
页面信息如下:点击资源节点列表可以看到组成相应NFV资源的NFV网元节点的详细信息.
如下图:网元状态为"active",表示处于激活状态,可以正常工作;如果状态为"Inactive",表示处于非激活状态,不能工作.
将鼠标指针放在"Inactive"上会提示导致非激活状态的原因,提示信息及说明如下:H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第25页,共42页4.
10虚拟端口状态在"虚拟网络/虚拟端口"页面中可以查看用户已配置的虚拟端口信息,包括名称、计算域、租户,IP、MAC,所在主机的管理IP、VTEPIP和状态等,如下图:第5章VCFC日志诊断收集5.
1日志信息操作日志记录的是用户对集群进行的系统操作、配置更改等事件,例如应用操作(加载、启动、停止和卸载应用)、配置修改、集群配置等.
进入运维监控/操作日志页面,可以查看所有的操作日志,包括每个操作的时间、用户、IP地址、操作描述、操作结果和失败原因,用户可以根据这个对每项操作进行审计和核查.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第26页,共42页系统日志用于通知用户控制器运行的内部事件.
控制器的系统日志管理模块为用户提供了查看系统日志信息、标记系统日志信息的功能.
进入运维监控/系统日志页面,可以查看所有的系统日志,包括每个日志的级别、时间、IP地址、主题和内容,用户可以根据这个实时监控集群内部发生的各种事件,并对一些异常的事件及时进行故障恢复.
日志说明请参考H3C官网"日志手册",其中包含"系统日志"和"操作日志"的说明.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第27页,共42页异常日志举例:OpenFlow设备与控制器断开连接集群成员退出集群5.
2SYSLOG功能进入控制器/系统管理/配置管理,点击系统日志,可以进行系统日志相关的配置,包括发送级别,Syslog日志服务器IP地址和端口号等,配置完成后会把系统日志以syslog协议形式发送给配置的syslogserver端.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第28页,共42页进入控制器/系统管理/配置管理,点击操作日志,可以进行操作日志相关的配置,包括发送级别,Syslog日志服务器IP地址和端口号等,配置完成后会把操作日志以syslog协议形式发送给配置的syslogserver端.
5.
3诊断信息控制器的诊断日志可以通过UI界面导出,如下图:H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第29页,共42页第6章VCFC后台信息查看6.
1查看系统CPU登录控制器的后台,查看CPU使用情况,正常情况下服务器CPU利用率不得大于80%.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第30页,共42页6.
2查看系统内存登录控制器的后台,查看内存使用情况,正常情况下内存利用率不得大于80%.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第31页,共42页6.
3查看系统网卡聚合状态登录控制器后台,查看网卡bond情况,正常情况如下:root@hlw-vcfc01:~#cat/proc/net/bonding/bond0EthernetChannelBondingDriver:v3.
7.
1(April27,2011)BondingMode:fault-tolerance(active-backup)PrimarySlave:NoneCurrentlyActiveSlave:eth0MIIStatus:upMIIPollingInterval(ms):100UpDelay(ms):0DownDelay(ms):0SlaveInterface:eth0MIIStatus:upSpeed:10000MbpsDuplex:fullLinkFailureCount:1PermanentHWaddr:8c:dc:d4:17:3b:70SlavequeueID:0H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第32页,共42页SlaveInterface:eth1MIIStatus:upSpeed:10000MbpsDuplex:fullLinkFailureCount:5PermanentHWaddr:8c:dc:d4:17:3b:74SlavequeueID:06.
4查看系统硬盘登录控制器的后台,查看硬盘使用情况,正常情况下硬盘空间利用率不得超过90%.
6.
5控制器关键进程和端口号状态检查6.
5.
1查看VCFC操作系统防火墙和SELinux状态登录控制器后台,查看防火墙状态,确保防火墙已经关闭:Ubuntu系统iptable进程默认关闭:root@hlw-vcfc01:~#serviceiptablesstatusiptables:unrecognizedservice使用如下命令查看iptable规则:root@hlw-vcfc01:~#iptables--listChainINPUT(policyACCEPT)targetprotoptsourcedestinationH3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第33页,共42页ACCEPTudp--anywhereanywhereudpdpt:domainACCEPTtcp--anywhereanywheretcpdpt:domainACCEPTudp--anywhereanywhereudpdpt:bootpsACCEPTtcp--anywhereanywheretcpdpt:bootpsCentOS系统可以使用如下命令查看防火墙状态:[root@localhost~]#systemctlstatusfirewalld.
servicefirewalld.
service-firewalld-dynamicfirewalldaemonLoaded:loaded(/usr/lib/systemd/system/firewalld.
service;disabled)Active:inactive(dead)通过如下配置文件查看SELinux是否关闭:[root@localhost~]#cat/etc/selinux/config|grep-v\#|uniqSELINUX=disabledSELINUXTYPE=targeted6.
5.
2VCFCSDNC进程的状态检查Sdnc是主要的业务进程,控制器的业务都在这个进程上.
登录控制器的后台,执行servicesdncstatus,查看sdna进程状态,有输出而且是start/running状态,表示进程状态正常.
[root@localhost~]#servicesdncstatussdncstart/running,process37656.
5.
3VCFCSDNA进程的状态检查Sdna相当于sdnc进程的管理者.
登录控制器的后台,执行servicesdnastatus,查看sdna进程状态,有输出而且是start/running状态,表示进程状态正常.
[root@localhost~]#servicesdnastatussdnastart/running,process3746Handshake进程的状态检查Hangshake是region之间的保活进程.
登录控制器的后台,执行servicehandshakestatus,查看handshake进程状态,有输出而且是start/running状态,表示进程状态正常.
[root@localhost~]#servicehandshakestatushandshakestart/running,process37286.
5.
4VCFCPostgresql数据库进程的状态检查Postgresql是控制器使用的数据库进程.
登录控制器的后台,执行servicepostgresqlstatus,查看postgresql进程状态,有输出而且是running状态,表示进程状态正常.
[root@localhost~]#servicepostgresqlstatuspostmaster(pid3342)isrunning.
.
.
6.
5.
5VCFCZookeeper进程的状态检查Zookeeper是集群保活、通信、选举的进程.
登录控制器的后台,执行ps-ef|grep"zookeeper"|grep-v"grep",查看zookeeper进程状态,有输出而且显示H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第34页,共42页结果中包含关键字"zookeeper",表示进程状态正常.
[root@localhost~]#ps-ef|grep"zookeeper"|grep-v"grep"sdn732238140Dec0500:04:57/usr/lib/jvm/java-openjdk/bin/java-Dzookeeper.
log.
dir=/opt/sdn/zookeeper/bin/.
.
/log-Dzookeeper.
root.
logger=INFO,ROLLINGFILE-cp/opt/sdn/zookeeper/bin/.
.
/build/classes:/opt/sdn/zookeeper/bin/.
.
/build/lib/*.
jar:/opt/sdn/zookeeper/bin/.
.
/lib/slf4j-log4j12-1.
6.
1.
jar:/opt/sdn/zookeeper/bin/.
.
/lib/slf4j-api-1.
6.
1.
jar:/opt/sdn/zookeeper/bin/.
.
/lib/netty-3.
2.
2.
Final.
jar:/opt/sdn/zookeeper/bin/.
.
/lib/log4j-1.
2.
15.
jar:/opt/sdn/zookeeper/bin/.
.
/lib/jline-0.
9.
94.
jar:/opt/sdn/zookeeper/bin/.
.
/lib/gcmonitor-1.
0.
0.
jar:/opt/sdn/zookeeper/bin/.
.
/zookeeper-3.
4.
5.
jar:/opt/sdn/zookeeper/bin/.
.
/src/java/lib/*.
jar:/opt/sdn/zookeeper/bin/.
.
/conf:-Xms512m-Xmx3072m-Xmn128m-XX:+DisableExplicitGC-XX:+CMSParallelRemarkEnabled-XX:MaxGCPauseMillis=100-XX:+UseConcMarkSweepGC-XX:CMSFullGCsBeforeCompaction=0-XX:+UseCMSCompactAtFullCollection-XX:CMSInitiatingOccupancyFraction=70-XX:ParallelGCThreads=24-verbose:gc-XX:+PrintGCApplicationStoppedTime-XX:+PrintGCTimeStamps-XX:+PrintGCDetails-Xloggc:/opt/sdn/zookeeper/zoo-gc.
log-XX:+UseGCLogFileRotation-XX:NumberOfGCLogFiles=3-XX:GCLogFileSize=100M-Xdebug-Xrunjdwp:transport=dt_socket,address=8788,server=y,suspend=n-Dcom.
sun.
management.
jmxremote-Dcom.
sun.
management.
jmxremote.
local.
only=falseorg.
apache.
zookeeper.
server.
quorum.
QuorumPeerMain/opt/sdn/zookeeper/bin/.
.
/conf/zoo.
cfg6.
5.
6VCFCRegion通道检查检查region通道,登录控制器后台,执行netstat-ant|grep9170,正常应该数据都是0,如果长时间有较大数据表明存在拥塞[root@localhostlogs]#netstat-ant|grep9170tcp600192.
168.
47.
32:9170:::*LISTENtcp60329504(send-Q)192.
168.
47.
32:55305192.
168.
47.
33:9170ESTABLISHED32->33的数据通道tcp600192.
168.
47.
32:52474192.
168.
47.
33:9170ESTABLISHEDkeep-alivetcp6316940(Recv-Q)0192.
168.
47.
32:9170192.
168.
47.
33:38770ESTABLISHED33->32的数据通道6.
5.
7对于VMWARE主机Overlay环境,VMK口是否大量发送portstatus消息根据日志分析,日志中出现了大量的vmk口的增删portstatus消息(约80w次),截至3月31日日志上已经没有异常portstatus消息.
后续需要定期查看下VSMH3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第35页,共42页模块的诊断信息,确认不在有反复增删vmk口portstatus消息.
查看方法:集群ip登录控制器,点击"控制器/系统管理/诊断信息",点击"导出"选择所有控制器导出控制器诊断信息(可以选择最近日期).
解压导出的压缩包文件,进入"logs/vsm/"目录,可以查看日期分包的log(格式log_2017-10-01)和最近的log.
log,选择需要查看的log,搜索关键字"localPortStatusMsgProc"查看local口的portstatus消息.
搜索关键字"processRegionMsg"查看控制器收到的region消息.
如果日志中有大量包含关键字的信息,(例:整个日志计数在10000以上或者1分钟出现5次以上)则说明local口有异常.
6.
5.
8对于VMWARE主机Overlay环境,检查ESXI主机是否存在多个VMK口检查主机连接状态是否正常,如连接正常,尽量不要在ESXI主机上重启网络服务(防止主机管理口发生切换).
如果连接不正常,需要重新配置vds来恢复.
6.
5.
9VCFC2181端口状态检查2181端口是Zookeeper监听客户端连接的端口号,登录控制器的后台,执行netstat-anp|grep2181,查看2181端口状态,如下所示,2181端口处于LISTEN状态且本地2181服务端口通信正常,表示2181端口状态正常.
[root@localhost~]#netstat-anp|grep2181tcp00:::2181:::*LISTEN10096/javatcp00::1:54334::1:2181ESTABLISHED9530/javatcp00::1:2181::1:54334ESTABLISHED10096/java6.
5.
10VCFC9172端口状态检查9172端口是Handshake监听客户端连接的端口号,登录控制器的后台,执行netstat-anp|grep9172,查看9172端口状态,如下所示,9172端口处于LISTEN状态且本地9172服务端口通信正常,表示9172端口状态正常.
[root@localhost~]#netstat-anp|grep9172tcp00:::9172:::*LISTEN9515/javatcp00::ffff:127.
0.
0.
1:39796::ffff:127.
0.
0.
1:9172ESTABLISHED9530/javatcp00::ffff:127.
0.
0.
1:9172::ffff:127.
0.
0.
1:39796ESTABLISHED9515/java6.
5.
11VCFC6633端口状态检查6633端口是OpenFlow协议端口号,登录控制器的后台,执行netstat-anp|grep6633,查看6633端口状态,如下所示,6633端口处于LISTEN状态且本地6633服务端H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第36页,共42页口通信正常,表示6633端口状态正常.
[root@localhost~]#netstat-anp|grep6633tcp00:::6633:::*LISTEN9530/javatcp00::ffff:192.
168.
100.
62:6633::ffff:192.
168.
99.
125:24589ESTABLISHED9530/javatcp00::ffff:192.
168.
100.
62:6633::ffff:192.
168.
205.
67:63449ESTABLISHED9530/java6.
5.
12检查操作系统以及keystore中hostname与ip映射关系是否正确1、查看VCFCkeystore证书中使用的ip字段,使用keytool-list-v-keystore/opt/sdn/admin/keystore|more,密码为skyline,查看标红部分CN的字段ip[root@localhost~]#keytool-list-v-keystore/opt/sdn/admin/keystore|moreEnterkeystorepassword:Keystoretype:JKSKeystoreprovider:SUNYourkeystorecontains1entryAliasname:serverkeyCreationdate:Jan5,2017Entrytype:PrivateKeyEntryCertificatechainlength:1Certificate[1]:Owner:CN=127.
0.
0.
1,OU=H3CSDNController,O=H3C,L=PaloAlto,ST=CA,C=CAIssuer:CN=127.
0.
0.
1,OU=H3CSDNController,O=H3C,L=PaloAlto,ST=CA,C=CA2、查看当前系统hostname对应ip是否与第一步查询CN字段ip一致,使用命令hostname-i|cut-d''-f2进行查询[root@localhost~]#hostname-i|cut-d''-f2::1127.
0.
0.
13、不一致的情况下,需要修改/etc/hosts或者当前的hostname,保证映射出来的ipv4地址和步骤1中的CN字段一致A.
VCFC获取当前系统hosts文件中的映射关系,[root@localhost~]#cat/etc/hostsH3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第37页,共42页1.
1.
1.
1localhostlocalhost.
localdomainlocalhost4localhost4.
localdomain4::1localhostlocalhost.
localdomainlocalhost6localhost6.
localdomain6127.
0.
0.
1VCFCB.
获取当前系统hostname[root@localhost~]#cat/etc/hostnamelocalhost.
localdomainC.
需要修改当前hosts文件或者hostname,保证映射关系与keystore数据一致,如果不修改hostname,则需要修改hosts文件,例如修改当前好hostname对应ip地址为127.
0.
0.
1[root@localhost~]#cat/etc/hosts127.
0.
0.
1localhostlocalhost.
localdomainlocalhost4localhost4.
localdomain4::1localhostlocalhost.
localdomainlocalhost6localhost6.
localdomain6也可以直接修改hostname,将hostname修改为VCFC[root@localhost~]#cat/etc/hosts1.
1.
1.
1localhostlocalhost.
localdomainlocalhost4localhost4.
localdomain4::1localhostlocalhost.
localdomainlocalhost6localhost6.
localdomain6127.
0.
0.
1VCFC6.
5.
13检查操作系统用户与用户组是否修改通过history命令检查是否配置过groupadd/useradd/groupdel/userdel命令,例如:groupadd-g890bmcuseradd-u891-gbmc-d/opt/bmc-m-s/bin/shpatrolgroupdeluserdel如果history命令没有查询到类似命令,可询问客户是否做过新增删除用户组/用户操作.
如果发下你配置过类似命令,需要在保留配置卸载完控制器后,在如下路径通过命令查看系统sdn用户持久化配置的用户组和用户id[root@localhostsdn]#cd/opt/sdn/virgo/[root@localhostvirgo]#ls-alltotal4drwxr-x---.
799399277Mar310:44.
drwxr-x---.
99939924096Mar310:44.
.
H3CVCFC产品日常维护指导书有限公开2018-01-09H3C机密,未经许可不得扩散第38页,共42页drwxrwx---.
299399226Mar310:19alertdrwxrwx---.
299399226Mar310:19auditdrwxr-x---.
299399224Mar310:44bindrwxr-x---.
299399232Mar310:44configurationdrwxr-x---.
399399216Mar310:44repository确认sdn用户持久化的用户id是否与groupadd或者useradd配置的用户id重复,如果重复,则需要完全卸载的方式卸载控制器,再重新安装来恢复.
在未卸载版本的情况下,可以通过查看passwd文件查看当前sdn用户的id[root@localhost~]#cat/etc/passwdsdn:x:993:889::/opt/sdn:/bin/bashsdnadmin:x:992:889::/opt/sdn:/bin/bash如果history命令无法确认是否有修改记录,建议使用完全卸载再恢复配置的方式来升级.
6.
5.
14检查VCFC系统日志数量级查看控制器首页/概览运维监控的系统日志统计个数,正常情况下不会超过500万条.
如果超过500万条,则需要联系研发进行处理.
第7章VCFC巡检7.
1VCFC集群数据一致性检查在重大变更或者升级前,请使用中脚本对VCFC进行数据一致性巡检,使用前请通过400-810-0504联系产品支持部新网络产品组寻求支持.