Oracle数据库无响应故障处理方式

OracleOracle 数据库无响应故障处理方式数据库无响应故障处理方式 Oracle 数据库无响应故障处理方式 无响应的故障现象一般有以下几种无响应的故障现象一般有以下几种 1.Oracle1.Oracle 的进程在等待某个资源或事件的进程在等待某个资源或事件 这种现象一般可以从 VSESSION_WAT、VLATCH、VLATCHHOLDER 等动态视图中检查进程正在等待的资源或事件，而被等待的资源或 事件，一直都不能被获取，甚至是很长时间都不可获得。如果这个 正在等待的进程持有了其他的资源，则会引起其他的进程等待，这 样就很可能引起实例中大范围的会话发生等待。由于进程在等待资 源或事件时，通常都处于 SLEEP 状态，消耗的 CPU 资源非常少在等 待 latch 时要稍微多消耗一些 CPU 资源，所以从 OS 来看，CPU 的 消耗并不高，甚至是非常低。 这种因为等待而引起的个别进程 Hang，相对比较容易处理。 2.OracleProcessSpins2.OracleProcessSpins 所谓 Spin，就是指 Oracle 进程中的代码在执行某个过程时，陷 入了循环。在 VSESSION 视图中，往往可以看到 Hang 住的会话，一 直处于“ACTIVE”状态。对于这样的会话，用 “altersystemkillsession‘sid,serial’”命令也不能完全断开 会话，会话只能被标记为“killed”，会话会继续消耗大量的CPU。 进程 Spins 由于是在做循环，CPU 的消耗非常大，从 OS 上明显可以 看到这样的进程，通常会消耗整个 CPU 的资源。 而对于这样的 Hang 住的会话，处理起来相对比较复杂，并且为 了从根本上解决问题，需要超过 DBA 日常维护所需要的技能。 从故障范围来看，无响应故障可以分为以下几种情况从故障范围来看，无响应故障可以分为以下几种情况 1.1.单个或部分会话单个或部分会话 进程进程HangHang 住住 这种情况属于小范围的故障，业务影响相对较小，一般来说只会 影响业务系统的个别模块。在一个多应用系统的数据库上面，如果 Hang 住的会话比较多，则影响的可能是其中的一个应用系统。这里 有一个例外，如果 Hang 住的进程是系统后台进程，如 pmon、smon 等，则影响的范围就非常大了，最终甚至会影响整个数据库及所有 应用系统。还有值得注意的是，即使是少部分会话Hang 住，也要及 时处理，否则极有可能会扩散到整个系统。 2.2.单个数据库实例单个数据库实例 HangHang 住住 这种情况造成的影响非常大。在这个实例上的所有应用系统均受 到严重影响，并且在找到根源并最终解决问题之前，数据库实例往 往须要重启。 3.OPS3.OPS 或或 RACRAC 中的多个实例或所有实例都中的多个实例或所有实例都 HangHang 住住 在这种情况下，即使是 OPS 或 RAC，都已经没办法提供高可用特 性了。使用这个数据库的所有应用系统将不能继续提供服务，这种 情况往往须要重启。 无响应故障成因分析无响应故障成因分析 Oracle 数据库无响应，一般主要由以下几种原因引起 1.1.数据库主机负载过高，严重超过主机承受能力数据库主机负载过高，严重超过主机承受能力 比如应用设计不当，数据库性能低下，活动会话数的大量增加， 导致数据库主机的负载迅速增加，数据库不能正常操作，并最终 Hang 住;主机物理内存严重不足，引起大量的换页，特别是在SGA 中的内存被大量换出到虚拟内存时，数据库实例往往就会Hang 住。 2.2.日常维护不当、不正确的操作引起数据库日常维护不当、不正确的操作引起数据库 HangHang 住住 比如归档日志的存储空间满，导致数据库不能归档，引起数据库 Hang 住;在一个大并发的繁忙的系 统上，对 DML 操作比较多的大表进行 move、增加外键约束等操 作也可能使系统在短时间内负载大幅升高，并引起数据库系统Hang 住;不正确的资源计划ResourcePlan配置，使进程得不到足够的 CPU 等。 3.Oracle3.Oracle 数据库的数据库的 BugBug 几乎每个版本都存在着会导致数据库系统 Hang 住的 Bug，这些 Bug 会在一些特定的条件下触发，特别是在RAC 数据库中，引起数 据库 Hang 住的 Bug 比较多。 4.4.其他方面的一些原因其他方面的一些原因 比如在 RAC 数据库中，如果一个节点退出或加入到 RAC 的过程中， 当进行 ResourceReconfiguration 时，会使系统冻结一段时间，也 有可能使系统 Hang 住。 以上所描述的几种常见的会导致 Oracle 数据库实例 Hang 住的原 因中，大部分的情况是可以避免的，只要维护得当，一般不会出现 这种故障。对于 Oracle 数据库 Bug 所导致的数据库无响应故障，由 于是在特定的情况下才会触发，所以如果能够尽量对数据库打上最 新版本的补丁，并且熟悉当前版本中会导致系统Hang 住的 Bug 以及 触发条件，就能够最大限度地避免这种故障的发生，提高系统的可 用性。 那么，在数据库 Hang 住的情况下，如何去分析并发现导致问题 的根源一方面，由于系统 Hang 住会导致业务系统不可用，为了能 够尽快地恢复业务，须快速地判断问题所在，然后Kill 掉引起故障 的会话和进程，或者数据库实例不得不重启以迅速恢复业务;但另一 方面，如果只是重启数据库或 Kill 会话和进程来解决问题，在很多 情况下是治标不治本的办法，在以后故障随时可能会出现。如何在 二者之间进行抉择呢对于数据库 Hang 故障的处理，首先是尽可能 地收集到系统 Hang 住时的状态数据，然后尽快地恢复业务，恢复业 务后分析收集到的数据，找到数据库系统Hang 住的真正原因，然后 再进行相应的处理。下一节将详细描述数据库系统Hang 住后的处理 流程。 无响应故障处理流程无响应故障处理流程 对于 Oracle 无响应故障的处理，我们可以按下图所示的流程进 行。 值得注意的是，上图并不是一个完整的Oracle 数据库故障处理 流程图，只是处理 Oralce 数据库无响应这一类特定的故障的流程， 只列出了针对这一特定类型故障处理时的关键处理点。不过既然是 故障，所以这类故障的处理流程与其他故障的处理流程，有着非常 相似的地方。 下面是整个流程的详细说明 1.在出现数据库无响应故障后，首先确认系统的影响范围，如上 节所描述的，是部分业务系统或模块还是所有的业务系统都受影响， 是不是整个实例或多个实例都无响应。同时应询问系统维护和开发 人员，受影响的系统在出现故障前是否有过变动，包括主机硬件、 操作系统、网络、数据库以及应用等。有时一个细小的变动就可能 导致出现数据库 Hang 住这样严重的故障。曾经遇到一个库，应用只 是修改了一个 SELECT 语句就导致了数据库 Hang 住。 2.为了避免由于网络、数据库监听或客户端因素影响分析，建议 都登录到主机上进行操作。 3.如果主机不能登录为了避免干扰流程主线，这里不讨论如