[회고] SE : Hangup 원인 분석 (feat.이벤트뷰어)

회고보단 썰에 가깝다.

 

<상황 요약>

기 : 타부서 서버 행업 -> 기술지원팀으로 원인 분석 요청 -> (뇌피셜 시작)짬으로 거절 불가 -> 상사 본인이 잠깐 봤지만 로그 없어 분석 불가(뇌피셜 종료)

승: 이사원 업무 지시 -> 로그 없어 분석 실패 -> 김대리 토스 -> 김대리도 로그 없어 분석 실패 판단

전: 2주(대략) 시간 요청 -> 보고 전날까지 분석 실패 ->  퇴근 후 밤새 분석 성공 메일 전송

결: 출근 후 구두 보고 -> 약간 아쉬운 보고 -> 상황 종료

 

마무리: 주어진 일만 잘하면 사원/대리 그 이상 올라갈 수 없다.

 

---

시스템 엔지니어에게 공포 그 자체인 행업.

 

1. 기: 상황 발생

상사: 김대리. 서버 정보 줄테니까 행업 원인 분석 해줘. 이사원은 해결 못했으니 같이 해.

사원: 대리님.. 죄송해요.. 이거 행업이라 로그가 안남았어요. 말씀 드렸는데 대리님이랑 같이 하래요 ㅠ

 

어느 고객 서버인지, 어쩌다 일이 넘어왔는지, 등 질문 하였으나 돌아오는건 메일 하나였다.

서버 정보가 담긴 메일을 포워딩 받았다.

핑퐁된 메일 내용으로 행업은 3~4개월 전에 발생했다... 돌고 돌아 여기까지 왔구나.

우리도 짬맞았구나...ㅎ

 

2. 승: 나도 모르겠는데?

주어진 서버는 web1,2 이중화 서버였다.

하나는 행업으로 행업 시점부터 로그가 남지 않았다.

나머지 하나는 작업자가 직접 재부팅 하였다.

당시 상황을 유추해보자면 상세 내용 모르는 야간 당직자가 담당자로부터 요청받아 재부팅 한 듯하다.

 

문제의 행업 서버 이벤트 뷰어를 훑어봤지만 특이사항은 없었다.

이렇게 결론 내고 싶었지만 어떻게 그러겠는가.

 

3. 전: 우선 시간은 벌자. 머리 식히고 다시 보자.

빠른 분석이 실패 했으니 얼마나 걸릴지 모를 이 분석을 위해 보고날짜를 2주정도 더 달라고 했다.

기존 업무로 주 1회 이상 야간 작업하는데 그정돈 받아주셔야지... 

그렇게 2주의 시간을 추가로 받았다.

 

다시 분석...

주기적은 가상의 NIC가 어느 프로그램에 의해 생성/삭제를 반복하는 로그만 있을 뿐.

혹시나 했지만 생성/삭제가 반복되는 NIC의 MAC주소를 확인했다. 

OS에서 사용하는 MAC과 전혀 겹치지 않았다.

 

그렇게 2주의 시간이 흐르고 보고 전날이 도달했다.

추가 시간을 요청하기에 이미 너무 늦었고,,, 결과는 내야하지만 모르겠다.

그 날도 정시퇴근 못하고 8시 넘어서 퇴근 했던거 같았다.

 

분석에 실패한 내 자신이 너무 실망스러워 집에가서 다시 분석했다.

주기적으로 재생성되는 가상의 NIC 말고는 분석이 안된다고 판단하여 집중적으로 분석했다.

그렇게 NIC에 대해 찾다보니, 윈도우 서버의 티밍 설정을 이제 봤다. ㅎ

사실 그 당시 티밍을 처음 들었다. 리눅스의 본딩을 알고 있었고 그거와 같은 개념이라니 다행이다.

근데 여기서 처음에 MAC주소 비교했을 때 OS의 NIC MAC주소는 티밍된 NIC 의 것이였다.

그럼 티밍 말고 물리 NIC의 MAC을 찾아보았다.

 

물리 NIC의 MAC 예시

AB-CD-EF-12-34-70

 

그리고 다시 의심되는 재생성 반복하는 NIC MAC의 패턴을 이벤트 뷰어에서 분석했다.

생성/삭제 패턴 예시

AB-CD-EF-12-34-56

AB-CD-EF-12-34-57

...(중략)

AB-CD-EF-12-34-99

 

 

재생성되는 NIC의 MAC주소가 OS의 물리 NIC MAC과 겹치면서 행업이 발생한 것으로 추측된다.

하... 이때가 12시가 넘었다.

 

너무 피곤하니 빠르게 메일 쓰고 다음날 출근해서 설명하자.

결론을 쓰고 근거자료 캡쳐하고 추측 근거 쓰고...

 

4. 결: 1% 부족한 보고.

행업의 원인 분석은 인정 받았다. 글을 잘썻던건 아니지만 이 추측 외 원인을 설명할 것이 없었으니...

그러나 아쉬웠던 점으로 원인을 찾았으니 해결 방안까지 고려했어야 했다.

그 점이 아쉽다.

 

 

마무리: 모든 행업의 원인을 찾을 순 없지만 찾은 경우도 있다. 그리고 주어진 일만 잘하면 사원/대리 그 이상 올라갈 수 없다.