美创科技打造县域医疗灾备新标杆|神木市医院 HIS 系统数据库分钟级切换演练实录
2025-07-02
百万罚单警示!DCAS助力金融机构筑牢数据安全防线,实现监管合规
2025-06-20
2025中国互联网产业年会丨《中国互联网产业绿色算力发展倡议》正式发布
2025-02-07
美创用户专访 | 精细化管理:医疗行业数据分类分级的策略与实践
2025-01-10
容灾演练双月报|美创助力某特大型通信基础设施央企顺利完成多个核心系统异地容灾演练
2025-01-10
存储域
数据库加密 诺亚防勒索访问域
数据库防水坝 数据库防火墙 数据库安全审计 动态脱敏流动域
静态脱敏 数据水印 API审计 API防控 医疗防统方运维服务
数据库运维服务 中间件运维服务 国产信创改造服务 驻场运维服务 供数服务安全咨询服务
数据出境安全治理服务 数据安全能力评估认证服务 数据安全风险评估服务 数据安全治理咨询服务 数据分类分级咨询服务 个人信息风险评估服务 数据安全检查服务某一个午后2点,杭州某三甲医院出现HIS核心业务数据库数据出现提交延迟的情况。本来顺畅的就诊流程,因为系统“罢工”,导致门诊收费业务系统使用不流畅,窗口挂号系统反应慢。眼看着就诊排队的队伍是越来越长,医院赶忙将情况反馈给美创科技工程师,寻求帮忙。
美创科技工程师快速响应,立刻登录数据库收集故障时间段的数据库awr诊断报告进行分析。工程师发现,节点1上面的“log file sync”等待事件占DB time的54.8%,比平时的这个时间段都高,其余2个节点都正常。那么,问题快速定位到节点1。
查看“IO Stats”信息时,发现表空间的IO读写很高,如下图所示。
工程师进一步仔细检查与IO相关的参数,发现主备数据库同步采用的是实时数据传输模式。此模式下,从备用数据库收到“redo数据已经写入磁盘”确认消息所需的时间会影响主库的性能。
当机立断,工程师立刻修改数据传输模式为async异步传输模式,但客户仍反应数据提交操作存在延迟的情况。接着又迅速查看操作系统主机日志及多路径软件状态,其中主备链路都是活动的状态,并无问题。但在检查三个节点主机的message操作系统日志时,发现节点1主机的多路径链路存在失败切换的情况,如下红色部分图示:
此时,问题已经很明显了,明确是节点1主机到光交的这段链路存在问题。
于是,工程师果断地将节点1集群关闭,优先保证医院业务正常运行。关闭节点1集群后,观察数据库后台的等待事件,并收集awr报告进行分析,数据库每秒的IO读写下降,“log file sync”等待事件也下降,确认IO问题得到缓解。最后,收到客户反应,医院业务恢复正常,这才算是圆满解决故障。
从美创工程师胸有成竹的“临场发挥”,可以总结以下两点:
本次故障的表象是数据库提交操作延迟,而根本原因是节点1主机到光交的这段链路存在问题。
最终,关闭节点1集群暂时解决问题,让硬件集成商排查多路径链路问题。