1. 项目概述Oracle 19c RACReal Application Clusters作为企业级数据库集群解决方案其多节点运行状态的稳定性直接关系到核心业务系统的连续性。在实际运维中我们经常需要快速判断集群健康状态但官方文档往往过于庞杂而网上资料又良莠不齐。这份优化版的排查指南正是基于我在金融行业多年处理RAC故障的经验总结提炼出最高效的检查路径。注意本文所有命令均在Oracle 19.3.0版本验证通过适用于标准2-4节点RAC环境。特殊配置场景可能需要额外检查项。2. 核心检查项与操作流程2.1 集群基础状态速查首先通过crsctl工具获取集群整体状态# 以grid用户执行 crsctl check cluster -all典型健康输出应显示所有节点状态为ONLINE类似CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online关键指标解析节点状态必须全部ONLINE任何OFFLINE节点都需要立即排查服务状态重点关注Clusterware三大核心服务CRS/CSS/EVM响应时间命令执行超过5秒可能预示网络或存储延迟2.2 节点资源深度检查2.2.1 资源状态全景视图crsctl stat res -t输出示例NAME TARGET STATE SERVER STATE_DETAILS -------------------------------------------------------------------------------- ora.DATA.dg ONLINE ONLINE node1 STABLE ora.LISTENER.lsnr ONLINE ONLINE node2 STABLE ora.ons ONLINE ONLINE node1 STABLE异常状态处理指南OFFLINE状态检查对应节点的alert日志UNKNOWN状态通常需要重启资源FAILED状态优先查看CRSD日志$GRID_HOME/log/ /crsd/crsd.log2.2.2 存储层专项检查# 检查ASM磁盘组状态 asmcmd lsdg # 检查表决磁盘健康 crsctl query css votedisk存储排查要点ASM冗余度确保至少有一个FAILGROUP可用表决磁盘必须所有投票设备可访问I/O延迟使用orion工具测试存储性能2.3 网络健康诊断2.3.1 私网连通性测试# 在所有节点执行 cluvfy comp nodecon -n all -verbose网络优化建议使用Jumbo FrameMTU9000禁用UDP校验和卸载确保SCAN IP可解析2.3.2 冗余网络检查oifcfg getif健康配置应显示至少两个私网接口eth0 192.168.1.0 global public eth1 10.0.0.0 global cluster_interconnect3. 高级诊断技巧3.1 日志快速定位法关键日志路径集群日志$GRID_HOME/log/hostname/alerthostname.logRAC实例日志$ORACLE_BASE/diag/rdbms/dbname/trace/alert_dbname.logOHAS日志$GRID_HOME/log/hostname/ohasd/ohasd.log使用以下命令实时监控tail -f $GRID_HOME/log/hostname/alerthostname.log | grep -E ORA-|ERROR|FAIL3.2 AWR报告关键指标生成最近1小时的AWR报告SQL ?/rdbms/admin/awrrpt.sql核心关注点全局缓存等待事件gc cr block busy实例效率百分比应95%集群等待时间cluster wait ratio4. 常见故障处理手册4.1 节点驱逐Node Eviction典型症状节点突然重启日志中出现Evicting member消息处理步骤检查表决磁盘空间df -h | grep voting验证网络心跳ping -c 10 其他节点私网IP分析ocssd日志grep -i evict $GRID_HOME/log/hostname/cssd/ocssd.log4.2 脑裂Split Brain应急方案# 强制停止集群 crsctl stop cluster -all -f # 在主节点重建集群 crsctl start cluster -all预防措施确保表决磁盘奇数配置至少3个私网使用冗余链路定期验证存储多路径配置5. 性能优化补充5.1 缓存融合调优调整以下参数需重启实例ALTER SYSTEM SET _gc_policy_time0 SCOPEspfile; ALTER SYSTEM SET _gc_lms_processes4 SCOPEspfile;5.2 服务分布优化使用srvctl平衡服务srvctl modify service -d dbname -s service -r node1,node2 -a node3,node4最佳实践关键服务配置TAFTransparent Application Failover分离OLTP和报表服务到不同实例使用Services实现工作负载管理6. 自动化监控方案推荐使用以下Shell脚本定时检查配置到crontab#!/bin/bash CRS_STATUS$(crsctl check cluster) if [[ $CRS_STATUS ! *ONLINE* ]]; then echo CRITICAL: Cluster status abnormal - $CRS_STATUS | mail -s RAC Alert dbaexample.com fi扩展建议集成PrometheusGranfa实现可视化监控配置OCWCHOracle Clusterware Health检查对关键指标设置基线告警阈值我在实际运维中发现90%的RAC问题可通过本文的检查流程快速定位。特别是在金融行业的高并发场景中定期执行这些检查可预防大部分突发故障。最近一次重大事故排查中正是通过crsctl stat res -t发现的ASM磁盘组异常避免了数据文件损坏。
1. 项目概述Oracle 19c RACReal Application Clusters作为企业级数据库集群解决方案其多节点运行状态的稳定性直接关系到核心业务系统的连续性。在实际运维中我们经常需要快速判断集群健康状态但官方文档往往过于庞杂而网上资料又良莠不齐。这份优化版的排查指南正是基于我在金融行业多年处理RAC故障的经验总结提炼出最高效的检查路径。注意本文所有命令均在Oracle 19.3.0版本验证通过适用于标准2-4节点RAC环境。特殊配置场景可能需要额外检查项。2. 核心检查项与操作流程2.1 集群基础状态速查首先通过crsctl工具获取集群整体状态# 以grid用户执行 crsctl check cluster -all典型健康输出应显示所有节点状态为ONLINE类似CRS-4537: Cluster Ready Services is online CRS-4529: Cluster Synchronization Services is online CRS-4533: Event Manager is online关键指标解析节点状态必须全部ONLINE任何OFFLINE节点都需要立即排查服务状态重点关注Clusterware三大核心服务CRS/CSS/EVM响应时间命令执行超过5秒可能预示网络或存储延迟2.2 节点资源深度检查2.2.1 资源状态全景视图crsctl stat res -t输出示例NAME TARGET STATE SERVER STATE_DETAILS -------------------------------------------------------------------------------- ora.DATA.dg ONLINE ONLINE node1 STABLE ora.LISTENER.lsnr ONLINE ONLINE node2 STABLE ora.ons ONLINE ONLINE node1 STABLE异常状态处理指南OFFLINE状态检查对应节点的alert日志UNKNOWN状态通常需要重启资源FAILED状态优先查看CRSD日志$GRID_HOME/log/ /crsd/crsd.log2.2.2 存储层专项检查# 检查ASM磁盘组状态 asmcmd lsdg # 检查表决磁盘健康 crsctl query css votedisk存储排查要点ASM冗余度确保至少有一个FAILGROUP可用表决磁盘必须所有投票设备可访问I/O延迟使用orion工具测试存储性能2.3 网络健康诊断2.3.1 私网连通性测试# 在所有节点执行 cluvfy comp nodecon -n all -verbose网络优化建议使用Jumbo FrameMTU9000禁用UDP校验和卸载确保SCAN IP可解析2.3.2 冗余网络检查oifcfg getif健康配置应显示至少两个私网接口eth0 192.168.1.0 global public eth1 10.0.0.0 global cluster_interconnect3. 高级诊断技巧3.1 日志快速定位法关键日志路径集群日志$GRID_HOME/log/hostname/alerthostname.logRAC实例日志$ORACLE_BASE/diag/rdbms/dbname/trace/alert_dbname.logOHAS日志$GRID_HOME/log/hostname/ohasd/ohasd.log使用以下命令实时监控tail -f $GRID_HOME/log/hostname/alerthostname.log | grep -E ORA-|ERROR|FAIL3.2 AWR报告关键指标生成最近1小时的AWR报告SQL ?/rdbms/admin/awrrpt.sql核心关注点全局缓存等待事件gc cr block busy实例效率百分比应95%集群等待时间cluster wait ratio4. 常见故障处理手册4.1 节点驱逐Node Eviction典型症状节点突然重启日志中出现Evicting member消息处理步骤检查表决磁盘空间df -h | grep voting验证网络心跳ping -c 10 其他节点私网IP分析ocssd日志grep -i evict $GRID_HOME/log/hostname/cssd/ocssd.log4.2 脑裂Split Brain应急方案# 强制停止集群 crsctl stop cluster -all -f # 在主节点重建集群 crsctl start cluster -all预防措施确保表决磁盘奇数配置至少3个私网使用冗余链路定期验证存储多路径配置5. 性能优化补充5.1 缓存融合调优调整以下参数需重启实例ALTER SYSTEM SET _gc_policy_time0 SCOPEspfile; ALTER SYSTEM SET _gc_lms_processes4 SCOPEspfile;5.2 服务分布优化使用srvctl平衡服务srvctl modify service -d dbname -s service -r node1,node2 -a node3,node4最佳实践关键服务配置TAFTransparent Application Failover分离OLTP和报表服务到不同实例使用Services实现工作负载管理6. 自动化监控方案推荐使用以下Shell脚本定时检查配置到crontab#!/bin/bash CRS_STATUS$(crsctl check cluster) if [[ $CRS_STATUS ! *ONLINE* ]]; then echo CRITICAL: Cluster status abnormal - $CRS_STATUS | mail -s RAC Alert dbaexample.com fi扩展建议集成PrometheusGranfa实现可视化监控配置OCWCHOracle Clusterware Health检查对关键指标设置基线告警阈值我在实际运维中发现90%的RAC问题可通过本文的检查流程快速定位。特别是在金融行业的高并发场景中定期执行这些检查可预防大部分突发故障。最近一次重大事故排查中正是通过crsctl stat res -t发现的ASM磁盘组异常避免了数据文件损坏。
)
