数据中心存储系统故障的处理方式

首先在处理存储系统发生的可能故障前必须对于整个存储系统的架构以及原理有一个清楚的了解。普遍来说存储系统由主机、交换机及存储设备组成。它们之间可以是直连或者是IP网络或FC网络的方式进行连接。整个系统的稳定性跟每个组成部分都息息相关。

其次了解故障的分类，故障分类大致分为硬件故障、配置故障或者license类问题，先外部后内部，先处理高级警告后处理低级警告，先共性后个性。

面对故障的发生，第一步永远都是先进行必要的信息收集，对于整个存储系统的基本信息，故障信息、存储设备信息以及组网、主机服务器信息要有了解。这些部分可以直接管理到主机、交换机或存储设备中进行收集，如今厂商也都有专门研发维护工具来帮助管理者做这些事情。收集清楚这些信息之后，才能对整个存储系统有一个普遍清晰的认知。至少对如今的故障可能发生原因有一个了解，然后再细化到每个组成部分上排查可能问题。

在主机层面大多需要检查的是操作系统版本，相应的HBA卡是否达到合适的标准，如速率、IOPS及带宽等。其次是在主机上安装的多路径软件，查看一下与存储设备连接的物理路径的状态以及存储LUN等信息。

网络层次可能发生的问题大多是连通性问题，由于链路故障导致的丢包或者误码率上升等现象，此现象可以在交换机上观察端口的信息，观察误码率是否在持续增长，如有，则可能存在链路部件异常或接触不良的现象。其次可能是端口速率或带宽未达到标准，查看端口配置及协商状况，这些都有可能导致故障或者性能问题。

存储设备可以在导出相关告警，事件或者运行数据、系统日志和硬盘日志来进一步分析可能发生故障的原因，到底是存储控制器问题还是底层的硬盘问题都需要一一排查。在底层存储方面主要考虑存储模块的配置，指示灯状态等信息，从指示灯状态我们可以分析出是否存在硬件故障等，其次在配置方面：RAID级别、分条深度、LUN读写策略、cache策略，LUN归属、硬盘类型等是否符合业务的特点以及不符合时可能导致的问题。都是需要我们在故障排查处理时需要考虑的。

总之面对存储系统的故障，一定要具备一个清晰的思路，不要盲目的去做。盲目的去做可能会恶化故障，从而使得排查难度进一步加大。