3일동안 디비 담당자랑 서버 프로그래머, 프로그램팀, 운영팀등 정말 거의 잠 못자고 계속 헤메었음



2월 6일날 10시 처음에는 서버 켜자마자, 유저가 안 들어왔는데도 갑자기 디비 풀나기 시작.

헉 이거 뭐지?

디비 구조가 문젠건가? 네트웍이 문젠가? 장비가 문젠가?

스트레스 테스트 시간은 이미 넘어가기 시작하고 운영팀을 비롯한 팀원들 바짝바짝 혀끝이 마르기 시작

IDC 팀과 계속 확인을 해 봤는데 장비 세팅중 일부를 바꿔보니 디비 풀나던 현상은 사라짐.

휴 그럼 그렇지.. 하고 서버들을 가동시키기 시작했는데.. 다시 접속이 안되기 시작

아무래도 디비 구조적 문제가 있는게 아닌가 의심되어, 다른 방법으로 디비쪽 튜닝을 해보기로 시작함

디비 담당자는 이 작업 시작하고 부터 화장실 가는거 빼고 50시간 넘게 자리를 못 뜸

일차적 작업이 완료되고 나서 서버를 열음. 음. 일단 중요한 부분 분산작업을 했으니 괜찮겠지...

라고 생각했던 기대는 금새 박살남.


어거지로 서버 열어놨으나 계속된 디비 문제로 유저를 거의 받아들이지 못하는 상황

최초 오픈 약속후 이미 24시간이 지나고.. 유저들의 항의는 이미 상상을 초월한 수준이 되었고

게시판에 하루에 올라온 글의 수가 3만개를 넘어서고 이틀째까지 합치니까, 그라나도 홈피가

열린 이래로 올라온 글의 갯수보다 이틀 동안 올라온 글의 갯수가 더 많아졌다 -_-;;

그 와중에서 느낀것은 한빛온이 참 안정적으로 만들었다는 생각;; 게시판을 닫아놓을까도

생각했었으나, 여기가 닫히면 유저들이 바깥에 가서 욕할 것을 생각하니 차라리 매를 맞아도

안에서 맞기로 하고 도배 글만 지우기로 함.


게시판에 올라온 욕설과 비꼬는 패러디글들을 보면 진짜 너털웃음만 나오게 하는 것들도 많았는데

몇가지만 소개하자면..


'열어보니 탄트라' 
'김학규 - 서버를 한빛측이 바꿔치기 했다 주장 파문'
'2,3,11 번 서버를 제외한 모든 서버가 오염되었다'
'온라인 게임 서비스의 원천기술은 확실히 보유하고 있으며 3개월의 시간만 주어지면 테스트를 열 수 있다'
등등...

그중 제일 압권은 역시 '눈물없이 볼 수 없는 GE플레이 동영상'...


서버는 못 열고 하는 와중에, 더블 크리티컬 히트 발생!

모 게임 웹진에는 아직 공개한 적이 없었던 지역의 스크린샷이 독점 보도라고 뜨기 시작했고

또 다른 웹진에는 역시 공개한 적이 없는 퀘스트의 내용들이 보도되기 시작

게다가 기자 간담회에서는 프리서버가 이미 뜬 것 아니냐? 라는 의혹이 제기되기에 이르고...!

해킹? 내부의 실수로 인한 유포? 아니면 내부의 적이 빼돌림?

가뜩이나 서버는 안 열리고, 약속시간은 이미 한참 지나고, 유저들의 원성은 극에 달한 상태에서

내부 자료를 누군가 빼돌린게 아닌가 생각하니.. 정말 머리가 핑핑 돌고 토가 나올 것만 같았다

스트레스를 많이 받으면 위장에 부담이 온다는 것을 깨달은 계기였다.



기자 간담회 마치고 회장님 오셔서 계속 의논을 하는데..

이것 저것 원인 물어보시고, 예전 탄트라때의 경험을 얘기해주시면서 그때 문제 해결했던 사람들을

투입해주시겠다고 하심.

솔직히.. 수십 수백억원의 돈을 들인 프로젝트가 막판에 완전 개박살나고 있는 가운데 재떨이로

머리를 맞아도 할말없는 상황에서... 화낸 기색을 보이지 않으시면서 오히려 위로를 해주시는 회장님

얼굴 보면서 정말 감격했었다.

일단 디비 전문가의 지원을 받기로 하고.. (그때만해도 디비서버 자체의 CPU점유율이나 디스크 사용량

은 높지 않았기 때문에 디비 문제라고 생각하진 않았었다)

스트레스 테스트 원래 예정보다 35 시간 정도 늦어진 시점.. 여전히 문제는 찾을 수가 없고

유저들의 불만과 실망은 정점으로 치달아가는 무렵..

이대로는 안되겠다. 이렇게 욕먹으면서 되지도 않는 테섭을 열어놓느니 차라리 스트레스 테스트를

잠정 중단하고 문제 해결후 다시 스트레스 테스트섭을 열어야 하는 것이 아닌가 하는 생각을 하게 되었다

사과문과 테스트 중단 공지를 작성하고 나니 정말 머리가 텅 비는 느낌이었다..

아아... 3년간 공들인 대업이 이렇게 물거품으로 사라지는가...!




그때.. 지원군의 도착..

우리 스텝들과 같이 꼼꼼하게 현 상황을 살피는 DB 전문가

몇군데 의심가는 점을 찾아내고..

테스트 중단 공지 발표도 잠시만 보류하기로 하고 기다리기로 하였다.

길고도 길게 느껴진 기다림의 순간.

약 2시간이 지나자....



기적이 일어났다.

윈도우 서버에 분산 트랜잭션 코디네이터라는 놈이 있는데

없어도 되는 것인데 이놈이 디비 트랜잭션의 락을 유발시켜서

그 후에 생기는 디비 요구가 모두 블러킹되고 있었던 것이었다.

그 부분을 딱 만지는 순간....




오오오오오!!!!!!!!

마치 봇물이 터지듯 외부에서 계속 접속을 시도하던 유저들이 게임 내에 솨르르르 입장하기 시작한

것이었다!!!


아아!!

하늘이 무너져도 솟아날 구멍은 있다고 했던가?

DTC 설정 변경 하나때문에 세상에 존재하는 욕이란 욕은 다 들어먹고 수십시간 쑈를 하게 만들었던

문제점이 해결되다니...


게임에 접속이 되기 시작하자, 갑자기 게시판에 욕이 싹 사라지기 시작했고

사람들은 게임속으로 빨려들어가기 시작했다

스트레스 테스트 중단을 할 필요가 없어졌음은 물론이다.

프로그램팀장은 혼자 회의실에서 쉬면서 눈물을 주륵주륵 흘렸다고 한다.


그렇게 모든 IMC와 한빛의 임직원들은 궁지의 끝의 끝까지 몰렸다가 부활하였고

게임웹진에 유출된 것으로 의심되었던 자료의 소스도, 내부 직원의 유출이 아니라

보도용 자료 계정의 세팅 실수였던 것으로 파악되었다. 프리서버도 그 외부 지형의 캡춰를 통해

나온 오해로 밝혀졌다.


그렇게 길고도 긴 악몽의 며칠간이 끝나고 드러누운 잠자리.

인생에 몇 안되는 강렬한 순간으로 기억될 것이다.

그리고.. 어려운 순간들에도 흔들림없이 서로를 믿고 힘을 모아준 팀원들이 정말 자랑스럽다.

imcgames 의 김학규입니다