开头部分≥200字贴合运维场景前阵子机房一台跑着生产业务的 DL380 Gen9 突然在 iLO 里亮起了“Degraded”状态存储子系统也直接报了 “Storage Failed”。大半夜被值班同事从被窝里叫起来远程登进 iLO 一看健康页面的红色告警挂了好几条心里其实有点数但还是要一条一条去查、去定位、去处理。搞过惠普服务器的人都知道Gen9 虽然已经算上一代平台但在很多中小机房里仍然是主力机器这类 iLO 降级和存储失败的问题非常典型几乎每年都要碰上几回。这篇就把我在实际维护中排查这类报错的经验完整整理出来从 iLO 健康状态里的每个条目逐项拆解到存储子系统的命令行修复和最终验证都给出可落地的操作方案。如果你手头正好有台 DL380 Gen9 报类似故障或者只是想提前建立一个排查思路这篇文章都能直接当成操作手册来用。1. iLO 报错信息解读与整体排查思路1.1 Degraded 和 Storage Failed 到底分别指什么很多刚接触 Gen9 的朋友看到 iLO 中文界面里出现“降级”这个词第一反应是服务器性能下降或者容量缩水其实这里的 Degraded 是硬件健康状态里的一个专门术语含义是某个关键组件脱离了完全正常的状态但机器还能继续运行往往对应着一组冗余资源里有一路失效了。举个例子双电源配置下有一路电源故障系统会继续运行但冗余性没了iLO 就会把这个子系统的状态标成 Degraded双通道内存里一个通道上的内存条无法被识别另一个通道还在支撑系统运行同样也会出现在健康状态页面的降级列表里。Storage Failed 则属于存储控制器的显式错误在 Gen9 的 iLO 页面里如果智能阵列控制器检测到逻辑驱动器状态不再正常或者控制器缓存与后备电池模块出现了某种级别的故障存储子系统就会直接显示 Failed而不仅仅是在物理磁盘上挂黄灯。这里要特别留意一个误区Storage Failed 很多时候并不等于硬盘坏了尤其是表现为“逻辑卷无法访问”或者“数据未被缓存”时实际的物理盘可能还活着问题在控制器备电模块或缓存数据一致性上。1.2 进入 iLO 后第一件事看集成管理日志IML而不是只看颜色我自己的习惯是只要接到这类降级告警先进 iLO 的信息页面把“集成管理日志”导出来看一遍这一步基本能省掉后面一半的猜测。IML 里每一条事件都带有时间戳、事件类别、严重级别和一条简短的描述比如 “POST Error: 200 Series” 表示内存子系统在开机自检阶段报了错后面还会跟上具体的 DIMM 槽位信息再比如 “Drive Array - Logical Drive failed” 这类存储事件IML 里会把你需要关注的控制器槽位和盘位编号一起带出来。只看 Web 界面上的红黄绿状态图标虽然直观但没有时间线和事件码排查时很难判断这个告警是开机瞬间出现还是运行中才触发也很难确定多个告警之间有没有因果关系。所以我的顺序永远是先读 IML再对照状态页最后才做操作。导日志的方法很简单在 iLO 左侧菜单进入“信息 → 集成管理日志”点击“下载日志”就能得到一个纯文本文件里面内容比在屏幕上翻页方便太多也方便发给同事或者厂商支持分析。1.3 优先区分“影响业务的故障”和“预示风险的告警”Degraded 这个状态在 DL380 Gen9 上会由多个子系统上报比如处理器、内存、风扇、电源、存储、温度传感器等。如果只是处理器故障或电源冗余丢失系统可能仍然在正常跑业务但此时的可靠度其实已经掉了一大截万一另一个部件在同一时间节点也出问题就可能直接宕机。Storage Failed 如果只是逻辑卷状态标记成失败业务可能还读得到数据但如果控制器缓存里有未落盘的数据反而更麻烦。所以排查的第一步不是立刻去拆机器而是先评估影响的边界这台机器能不能继续跑手里的维护窗口有多久如果数据很关键是否要先做备份或者把业务切走我不止一次见过有人在业务高峰期直接重启服务器结果 RAID 卡在自检时因为电池电量不足而触发逻辑卷降级差点造成更长时间的停机。建议大家在实际操作前先做一个简单的决策这台机器允许重启吗允许关机更换硬件吗如果答案都是否那就先采集日志、完善备件再等维护窗口统一处理。2. 非存储类硬件降级排查按子系统逐项清雷2.1 处理器报 Degraded 的常见表现不是真坏有可能是处理器没对齐处理器子在 iLO 健康页里的状态如果显示 Degraded通常对应两种情况。第一种是处理器本身报出了可纠正错误或者是某个核心被系统自动隔离了这种情况在 IML 里会有 “Processor Machine Check” 或者 “Corrected Machine Check” 事件特点是机器还能跑但性能打了折扣。第二种更常见是物理层面的处理器未正确安装或插槽内有异物例如散热器压力不均、处理器没有完全压入插槽导致某个 LGA 引脚接触不良开机时 BIOS 可能只识别到一颗处理器而把另一颗的状态标成降级。排查处理器问题时我习惯先用 iLO 的“系统信息 → 处理器”页面确认当前识别到几颗 CPU、型号和主频是否正常。如果页面里有一个处理器槽位是空的或者显示未知设备那就需要关机查看物理状态了。拆机检查时要注意 Gen9 的散热器安装方向四个紧固螺钉要按对角线顺序轮流拧紧不能一颗拧死再拧下一颗否则很容易让处理器一端受力过大另一端接触不良。装回去之后最好在 POST 画面或者 iLO 里再确认一遍两颗处理器的信息都完整出现再继续进行其他操作。2.2 内存降级XMS 报错和类 DIMM 状态才是重点DL380 Gen9 的内存子系统在一台双路机器上可以做得非常复杂24 个 DIMM 插槽分属两个处理器的多个通道一旦有内存条接触不良或损坏iLO 健康页面会按内存子系统汇总显示为 Degraded。真正有价值的定位信息在两个地方IML 事件里的 DIMM 槽位编号以及系统信息里“内存”页面的详细状态表。下表是我在实际维护中整理出来的常见内存事件码对照方便大家快速判断严重性IML事件码/关键字含义实际应对200-SeriesPOST阶段内存检测失败按提示槽位重新插拔或更换内存条Corrected Memory Error内存出现可纠正错误系统纠错机制已修复关注是否频繁频繁则考虑更换Uncorrected Memory Error内存出现不可纠正错误可能影响数据立即更换对应DIMM并检查业务影响Memory Module Failure单个内存条被标记为故障更换重建内存镜像或热备关系排查内存相关 Degraded 时我建议关机后把对应槽位的内存条拔出来用橡皮擦轻轻擦一下金手指再重新插回去。这一步对运行了多年的机房机器特别有效因为在相对密闭的机柜里灰尘和潮湿很容易在内存触点上形成一层肉眼看不见的氧化膜。重新插好后如果状态恢复正常那就还行要是再次报同样槽位的错误基本可以判断是内存本体老化更换备件就行。2.3 风扇区域报降级DL380 Gen9 最容易忽略的“健康杀手”有一类 Degraded 告警在 Gen9 上特别容易误导人——风扇子系统。iLO 里如果显示 Fan Faulted 或某个风扇区域降级很多人第一反应是风扇坏了但实际工作里我碰到更多的是风扇在位但转速异常或者对应的冗余风扇缺失。Gen9 的风道设计很依赖所有风扇位都装上风扇或挡片有些维护人员拆了风扇忘记装回去就随便填了个空位系统检测到风扇缺失但整体温度还能压住时健康状态就会变成降级。处理风扇降级时不要只盯着转速数字。我踩过一次坑风扇状态页显示所有风扇都在转转速看起来也正常但 iLO 依然报了风扇降级。后来才发现是因为机箱盖板没有完全合拢导致风道压力不达标机器检测到某个区域通风异常。把盖板重新盖好卡扣完全到位之后告警马上就消了。所以大家在处理风扇报错时除了看风扇本身还要检查机箱盖、导风罩、防尘网这几个周边因素很多时候问题根本不在风扇电机上。2.4 电源冗余降级检查输入源和电源模块状态双电源是 DL380 Gen9 的标配能力但如果两个电源模块接的是同一路输入开关或者其中一个电源本身有故障健康页面里电源子系统就会显示为降级。这种告警的影响是潜在的当前负载低时看不出问题一旦负载上来或者另一路电源恰好在这时断电服务器就直接掉电没有任何冗余保护。排查电源问题时我在 iLO 的“系统信息 → 电源”页面会重点看这几个字段电源模块状态是否为“OK”、输入电压是否在正常范围、每个电源的当前输出功率是否异常。如果某一个电源的状态显示 “Failure” 或 “No Input”对应的背面指示灯也会有相应颜色常见的红灯和黄灯状态可以参考下表电源指示灯状态含义处理建议绿色常亮电源正常输出电压/电流稳定无需操作绿色闪烁电源正在待机或只有辅助供电检查服务器是否完全开机红色常亮电源内部故障无输出更换电源模块无指示灯没有输入电源检查电源线、PDU插口和输入开关另外还有一个容易被忽略的细节Gen9 在开机状态下直接拔插电源模块有触发硬件错误事件的风险虽然设计上支持热插拔但我个人建议在做电源更换前先确保对端电源工作正常、负载不大再快速完成替换。如果条件允许用维护窗口断电操作更稳妥。3. 存储 Failed 专项排查从控制器状态到物理磁盘定位3.1 先理清 Storage Failed 的 3 种典型场景“Storage Failed”在 iLO 上呈现的形式并不总是一样的我习惯先把它们分成三类再针对每一类去看具体的位置第一类是整体智能阵列控制器状态变成 Failed表现为 iLO 存储页面里看不到逻辑驱动器或者控制器固件与 iLO 通信中断。这种情况一般是控制器硬件故障、缓存模块故障或控制器被禁用需要在开机的 POST 阶段按 F9 进 RBSU 确认控制器有没有被识别到。第二类是阵列中的某个逻辑卷状态显示 Failed比如 RAID 1 卷里的两块盘有一块掉线或者 RAID 5 卷断了一块盘但没触发重建逻辑卷就会被标记成 Failed。这一类需要关注的焦点是物理磁盘本身以及磁盘的背板链路。第三类是控制器的高速缓存Cache模块状态异常这在 Gen9 上有一个专门的名字叫 FBWCFlash Backed Write Cache如果电池或者超级电容没电控制器为了保护数据一致性会主动把写缓存的启用状态关掉此时存储页面可能显示 “Cache Module Disabled” 或逻辑卷处于 “Failed” / “Not Insync” 状态。很多被“Storage Failed”吓到的情况其实只是电容老化需要更换并不涉及硬盘里的数据。3.2 用 SSA 图形界面快速确认控制器和逻辑卷状态Gen9 开机时按 F10 可以进入 Intelligent Provisioning在维护页面里运行 Smart Storage AdministratorSSA图形工具这是最直观的存储状态检查方式。进入 SSA 之后左侧会列出识别到的所有控制器点击某个控制器就会进入概览页里面包含控制器名称、固件版本、缓存模块状态和阵列信息。我这个流程一般是这样走的第一步看控制器整体状态。如果状态不是“OK”先记录下状态描述中提到的具体组件比如 “Cache Module Failed” 或 “Controller Failed”。第二步进入逻辑驱动器页面查看每个逻辑卷的 RAID 级别、状态、容量和成员盘。如果逻辑卷显示 “Failed” 或 “降级”记下对应的盘位编号。第三步进入物理磁盘页面检查每块盘的状态。常见的状态有 “OK”、“Failed”、“Predictive Failure” 和 “Rebuilding”需要分别记录。SSA 图形界面在识别故障时已经做了一部分解释工作方便新手直接操作但它不能像命令行工具那样快速批量收集信息。而且如果控制器已经处于比较深度的故障状态SSA 有时候也进不去这时候就需要用命令行方式从 iLO 或者 OS 层面去查。3.3 命令行排查ssacli 在 Linux 下的使用实录如果物理机装的是 Linux而且操作系统起来之后还能访问到存储设备我建议直接在系统里用 HPE 提供的命令行工具 ssacli 来做诊断效率和输出清晰度都比图形界面高不少。HPE 的 ssacli 工具包在官方支持页面能下载安装之后可以直接调用。查看当前所有控制器和逻辑卷状态我用的是这样一组命令ssacli ctrl all show config detail这个命令会把控制器、逻辑卷、物理磁盘的完整拓扑打出来。如果只想看逻辑卷状态可以更精确一点ssacli ctrl slot0 ld all show status ssacli ctrl slot0 pd all show status输出里如果逻辑卷状态这栏出现 “Failed”再比对物理磁盘状态很快就知道是哪一块盘把整组卷拉垮了。另外我建议大家养成一个好习惯每次排查存储问题时先把ssacli ctrl all show status detail的输出存成一个文本文件再操作。因为有些维修动作做完之后状态确实会变化留下原始输出才能做前后对比也方便后续写故障报告。3.4 电池/电容模块引发的 Storage Failed 案例在 Gen9 时代FBWC 缓存模块的供电单元是故障高发区。这个模块的作用是在突然断电时给控制器缓存里的数据提供短暂电力让数据有足够时间写回到闪存里。随着使用年限增加里面的电池或电容会老化储电能力下降控制器检测到后备电力不足为了保护数据一致性就会自动禁用写缓存。一旦写缓存被禁用逻辑卷状态可能直接变成 Failed而物理硬盘却没有任何问题。遇到这种情况IML 里通常会有类似 “Cache Module Battery Failed” 或者 “Loss of cache data” 的条目SSA 里也能看到控制器状态是 “Cache Disabled”。我还遇到过一种情况电池模块并没有彻底坏只是充电没有充满比如机器长时间关机后再开机控制器检测到电量不够同样也会报降级。处理方法是让机器保持开机状态等待电池充上几个小时再观察状态是否恢复。如果充完电后依然报错那基本可以判断要更换 FBWC 模块了。更换时需要注意模块型号匹配最好在 HPE 备件库里按序列号查询对应型号不同容量和不同控制器型号对应的模块不能混用。3.5 定位具体物理硬盘的实用技巧当确定是某块物理盘导致逻辑卷 Failed 后接下来的关键是要在机箱里准确找到那一块盘而不是靠猜。DL380 Gen9 的硬盘托架上都带有 LED 指示灯其中活动灯和故障灯分别是绿色和琥珀色。正常工作时绿色灯会闪烁表示读写故障状态下琥珀色灯会常亮或规律闪烁。如果机器里盘比较多而且不方便肉眼观察背板正后方我一般用这两种方式辅助定位在 ssacli 里通过ctrl slot0 pd all show status拿到盘位编号比如 1I:1:5这个编号对应机箱背板的物理槽位。在 SSA 图形界面里选中故障盘后选择“定位”这时对应的硬盘托架 LED 会闪烁能够快速识别。但要注意当逻辑卷状态是 Failed 时操作系统的文件系统可能已经处于不稳定状态如果随便对卷里的某块盘做删除或强制下线可能会进一步破坏数据。所以在定位和热插拔故障盘之前一定要确认该逻辑卷是否做了冗余保护。RAID 0 卷没有冗余出问题就是整个卷的数据丢失这种卷不能直接插拔盘必须在维护窗口整体停机处理。4. 常见排查场景与修复操作实录4.1 场景一iLO 报存储 Failed但业务还在跑该不该立即处理这其实是我被问得最多的问题。我的建议是先做判断不要慌着重启。如果系统里的数据还能正常读写业务也没有出现 I/O 报错说明逻辑卷层面可能只是被控制器打上了失败标记实际数据路径暂时没有断掉。这种情况下要做的第一件事是把关键数据备份出来越快越好第二件事是导出 IML 和 SSA 状态把现场留给后续分析第三件事才是申请维护窗口做修复。反过来如果业务已经出现明显的 I/O 错误或者应用开始报“设备读写失败”那就不能等了。立即把所有相关日志截图然后找维护窗口准备更换可能故障的盘或模块。这里特别提醒一点对于运行了多年的老平台我强烈建议在机房里常备同型号的硬盘、内存条和 FBWC 电池模块带病服役的服务器随时可能恶化备件在手才能缩短停机时间。4.2 场景二物理盘显示 Failed但先把阵列卷从 Failed 状态拉回来实际排障中我还发现一个很常见的现象硬盘还没彻底坏透但因为一段时间内出现的 I/O 超时或链路错误控制器把它踢出了阵列导致逻辑卷状态变成 Failed。这类场景如果硬盘本身还能被控制器识别有可能通过把硬盘重新“上线”来恢复卷状态。在 ssacli 里可以用以下命令先查看盘的状态再决定是否尝试重新上线ssacli ctrl slot0 pd all show status ssacli ctrl slot0 pd 1I:1:5 modify online请注意这条命令必须在确定数据有冗余保护或者已做备份的前提下执行。盘重新上线后逻辑卷通常会进入重建Rebuilding流程状态会从 Failed 变成 Rebuilding再变成 OK。重建期间系统性能会有明显下降不建议高负载跑业务尽量等到重建完成再恢复全量负载。4.3 场景三更换故障盘后的重建与验证流程当确认某块盘已经没有挽救价值后需要更换新盘并触发重建。DL380 Gen9 支持热插拔但如果可能我还是建议在维护窗口内操作减少热插拔带来的电气冲击风险。更换流程我总结为五步在 iLO 或 SSA 里确认故障盘对应的槽位编号用 LED 定位功能找到物理位置。拔出旧盘之前先观察故障盘的指示灯是否还在闪烁表示读写最好等系统没有高 I/O 时再操作。插入新盘后控制器一般会自动识别并开始重建。如果没有自动重建在 SSA 或 ssacli 中把新盘配置为原 RAID 卷的热备或逻辑盘成员。重建过程中持续用ssacli ctrl slot0 ld all show status观察进度一开始百分比会走得比较慢别急着判断系统卡住。重建完成后检查逻辑卷状态为 OK再做一次读写测试确认业务数据可访问最后同步更新 iLO 日志记录。重建是一个长时间过程大容量机械盘重建可能需要十几个小时甚至更久期间尽量不重启服务器不拔盘也不要给存储控制器做固件升级。4.4 清告警的三个入口iLO、SSA 与 OS 层面告警修复后iLO 健康状态并不会立刻恢复漂亮需要主动做一次“清除状态”的操作。在 iLO Web 界面中进入“信息 → 集成管理日志”可以把已处理的日志项标记为已读或者执行“清除日志”操作。这个动作只是清除记录不会影响实际硬件状态。在 SSA 里也可以在控制器信息页选择“清除事件日志”。不过我一般不建议在开机状态下频繁清除避免把真正有价值的故障时间点信息弄丢。正确做法是先保存所有日志再处理故障最后维修完成后做清除操作。在 OS 层面Linux 下可以用ssacli ctrl slot0 show eventlog查看控制器事件日志也可以配合dmesg查看内核识别到的硬盘错误这些信息对后续分析很有帮助。4.5 iLO 固件升级一个看似无关却很容易解决问题的步骤有相当一部分 Degraded 和 Storage Failed 告警其实都可以通过升级 iLO 固件和控制器固件解决。尤其是老版本固件里存在一些已知的误报问题比如电容电量被误判定为不足或者 iLO 与控制器之间的通信状态被误报为降级。HPE 官方支持页面按服务器序列号能查到最新的固件包重点升级以下两个部分iLO 4 固件Gen9 使用的 iLO 第四代固件智能阵列控制器固件如 P440ar、P840 等型号升级前注意需要把供电和网络连接保持稳定升级期间不要断电否则可能把管理芯片刷成砖。我自己一般先刷 iLO再刷控制器固件每刷完一个都进系统确认硬件状态没有异常再继续下一步。如果升级后状态仍然不恢复正常再考虑硬件层面的问题。5. 从故障报错到长期稳定性运行经验与维护建议5.1 带病运行的老平台怎么做好告警监控这台 DL380 Gen9 在很多机房里已经服役五六年甚至更久硬件的可靠性曲线已经进入磨损期各种告警会越来越频繁。与其等到 iLO 弹出红色告警再被动响应不如提前做好告警监控所有异常进入一个看得见、有通知的渠道。iLO 本身支持配置 SNMP Trap 和电子邮件通知可以在“管理 → 网络服务”里启用邮件告警把事件级别设为“警告”以上这样服务器任何一条硬件健康事件都会实时发到运维邮箱。如果环境里已经有监控平台比如 Zabbix 或 Prometheus也可以通过 SNMP 把 iLO 的健康指标拉出来做采集。长期监控数据还能帮你建立一台服务器的健康基线比如某个风扇转速一直在波动某个电源模块的输出功率异常升高这类趋势性信号往往比单纯的事件告警更有价值。5.2 硬盘和 FBWC 模块的备件管理策略对于还在生产环境里的 Gen9我见过太多因为备件缺失而被迫长时间停机的案例。这里给大家一个我觉得比较合理的最低备件标准至少一块匹配现有 RAID 阵列容量和转速的企业级硬盘、两条与现有配置同代的内存条、一个 FBWC 电池或电容模块、一个匹配型号的电源模块。这些备件不需要特别昂贵但在故障发生时的价值是不可替代的。备件管理还有一个容易忽略的点备件不是买回来放到机柜里就结束了。电容和电池类备件存放久了同样会自放电老化建议每隔半年拿出来充一次电或者做一次容量测试。如果备件放了两年才发现不能用了那就是纯纯的坑。新盘插入机器之前也要在机外先用其他机器做一次短时间通电测试确认盘能正常初始化再上机避免一上来就把故障从“旧盘坏了”变成“新盘也是坏的”。5.3 日常巡检清单五分钟扫完一台 DL380G9最后给大家分享一个我在日常巡检里沿用的五分钟快速检查流程适合每隔一两个月做一次打开 iLO 健康页确认“处理器、内存、风扇、电源、温度、存储”六个子系统的状态都是 OK。查看 IML 日志里的最近十天事件看有没有被自动恢复的轻微错误这类错误往往是一台机器进入不稳定期的征兆。进入存储页面记录逻辑卷和物理盘的健康状态重点看有没有盘出现 Predictive Failure这种盘还能用但建议尽快安排更换。检查 iLO 固件和控制器的固件版本对比官方支持页面上的最新版本决定是否需要规划升级。观察机柜进风口和服务器前面板防尘网如果有明显积灰安排一次除尘。灰尘堆积会直接影响散热散热变差后风扇会长时间高速运转风扇轴承磨损加速又会产生新的风扇降级告警这几乎是一个恶性循环。这些检查全部在带外管理层面完成不需要进机房也不需要重启机器几分钟就能把最重要的硬件健康维度覆盖到。最后再分享一点实操感受遇到 iLO 报错时真的不用一上来就心慌也不要急着把提示里涉及的硬件全换掉。先读日志、分场景、按步骤排查大部分所谓 Degraded 和 Storage Failed 都不是致命问题有些只是电容老化、固件误报或者机箱盖没盖好这种小事。但反过来如果只看到状态时好时坏却不当回事拖久了小问题也会拖成大故障。平时多花点时间把机器的健康基线建立起来备件放在手边巡检形成固定动作等真正出问题时你就能从容地一项一项去解而不是带着业务压力在深夜里对着告警发愁。希望这篇整理出来的实战记录能帮你在下一次碰到 DL380G9 报这类故障时少走几步弯路。