提交需求
*
*

*
*
*
立即提交
点击”立即提交”,表明我理解并同意 《美创科技隐私条款》

logo

    产品与服务
    解决方案
    技术支持
    合作发展
    关于美创

    申请试用
      记一次特殊的医院HIS系统存储故障处理
      发布时间:2017-07-03 阅读次数: 434 次

      某一个午后2点,杭州某三甲医院出现HIS核心业务数据库数据出现提交延迟的情况。本来顺畅的就诊流程,因为系统“罢工”,导致门诊收费业务系统使用不流畅,窗口挂号系统反应慢。眼看着就诊排队的队伍是越来越长,医院赶忙将情况反馈给美创科技工程师,寻求帮忙。

      美创科技工程师快速响应,立刻登录数据库收集故障时间段的数据库awr诊断报告进行分析。工程师发现,节点1上面的“log file sync”等待事件占DB time的54.8%,比平时的这个时间段都高,其余2个节点都正常。那么,问题快速定位到节点1。

      查看“IO Stats”信息时,发现表空间的IO读写很高,如下图所示。

      工程师进一步仔细检查与IO相关的参数,发现主备数据库同步采用的是实时数据传输模式。此模式下,从备用数据库收到“redo数据已经写入磁盘”确认消息所需的时间会影响主库的性能。

      当机立断,工程师立刻修改数据传输模式为async异步传输模式,但客户仍反应数据提交操作存在延迟的情况。接着又迅速查看操作系统主机日志及多路径软件状态,其中主备链路都是活动的状态,并无问题。但在检查三个节点主机的message操作系统日志时,发现节点1主机的多路径链路存在失败切换的情况,如下红色部分图示:

      此时,问题已经很明显了,明确是节点1主机到光交的这段链路存在问题

      于是,工程师果断地将节点1集群关闭,优先保证医院业务正常运行。关闭节点1集群后,观察数据库后台的等待事件,并收集awr报告进行分析,数据库每秒的IO读写下降,“log file sync”等待事件也下降,确认IO问题得到缓解。最后,收到客户反应,医院业务恢复正常,这才算是圆满解决故障。

      从美创工程师胸有成竹的“临场发挥”,可以总结以下两点:

      本次故障的表象是数据库提交操作延迟,而根本原因是节点1主机到光交的这段链路存在问题。

      最终,关闭节点1集群暂时解决问题,让硬件集成商排查多路径链路问题。

      免费试用
      服务热线

      马上咨询

      400-811-3777

      回到顶部