[이명진]교육의 효과가 나타나다 - Online index rebuild

사무실에 혼자 남아 있는데, 모 고객사에서 장애가 발생했다며 확인해 달라는 요청이 들어왔다.

고객의 말에 의하면, 갑자기 lock이 많이 발생하더니, 시스템이 정지되는 현상이 발생한다고 하였다.
하지만 로그 반출이 안 된다고 해서, 급히 고객사를 찾아갔다.

오라클은 2개의 RAC 환경으로 구성되어 있었고, 로그를 확인해 보니 Active Session 증가 시점에 lock waiting session이 증가하는 것을 확인할 수 있었다.

증가하는 구간을 확대하여 확인해 보니 Lock holder session이 library cache load lock을 대기하고 있음을 확인할 수 있었다.

library cache load lock은 DDL 수행이 원인임으로, 초기에 Lock이 동작하는 시점의 SQL을 확인해 보니 해당 테이블에 대해서 Alter index rebuild online1 작업을 수행중임을 확인하였다.

이 것 이외에는 특별한 점을 찾을 수 없었고, 오라클 Metalink에서 관련 문서를 찾아 보았다. 그 결과 Bug 3566511 - OLLINE index rebuild can cause DML sessions to hang 이라는 문서를 찾을 수 있었다.

찾아낸 문서를 고객에서 보여주면서 설명해 주고, 분석보고서를 만들어 주었다.
또한 Oracle을 최신패치로 업데이트 할 것을 조언해 주었다.

이전에 비슷한 사례로 팀장님이 교육해 주신 적이 있는데, 말로만 듣다가 직접 현상을 목격하니 신기했고, 정말 그 때 교육을 받지 못했으면 지금 많이 헤매고 있었을 것이다.