아직은 삽질이 다 끝난 것이 아니므로 일단 중간 결과만 보고드립니다
Episode 1
10시 정각 전에 모든 준비를 끝내고, 서버리스트 xml 을 업로드하기만 하면 유저들이 들어올 수 있게 되었다. 10 시 정각이 땡 하고 되서 업로드 버턴을 눌렀는데.....
헉! 서버리스트를 유저에게 보내주는 웹서버가 이미 100% 풀이 차서 새로운 접속을 받지 못하게 되었다. 으 이 버턴을 눌러야 사람이 들어오는데... 버턴을 눌러도 응답이 오지를 않고...!
마치 전쟁영화에 잠수함 같은게 어뢰를 맞아서 침몰되어가는데, 응급조치용 빨간 버턴을 누르면 격벽이 쳐지면서 안에 물이 차는 것을 막아주게 되어 있는데, 잠수함이 흔들리는 바람에 빨간버턴을 누르지 못하고 사람들이 막 떠밀려다니는 그런 느낌
10 분동안 기다리다 어떻게 간신히 업로드 버턴의 응답이 와서 사람들 입장 시작!
Episode 2
서버를 열자마자 거의 초당 동접이 1000 명씩 물밀듯이 들어오기 시작. 음 스트레스 테스트때 테스트를 해봤으니 이번엔 잘 되겠지... 라고 생각하고 있는데, 클라이언트에 중요한 버그 하나 발견!
클라이언트를 재빨리 고치고 idc 에 업로드를 하는데 업로드 속도는 어느때보다도 느리고, 업로드를 하고 나도 CDN (분산형 FTP 서비스) 에 퍼지는데 추가로 시간이 10분정도 소요되어 도합 20-30 분간 시간이 지연됨
Episode 3
30세 월드 2 개를 새로 추가하였는데, idc 에서 긴급한 연락이 옴.
현재 IDC의 머신들의 발열량이 엄청나서 주변 다른 회사의 서비스들까지 지장을 주고 있어 서버들의 다른 층으로의 이전작업이 필요하다고 함. 으악 사람이 기껏 잘 들어오고 있나보다 했는데 다시 또 내려야 한다니... 결국 야심차게 준비한 30대 서버를 내리고 이 작업은 점심이 지나서야 이전작업이 완료
Episode 4
사람들은 계속 들어오는데, 게임 내에서 엄청난 랙이 발생. 특히 루팅랙을 비롯해서 존 이동, 주요 퀘스트 NPC와의 대화등 DB 와 관련된 부분으로 블로킹이 걸리기 시작. 어 이상하다 스트레스 테스트때랑 크게 틀려진 부분이 없는데?
몇시간동안 계속 문제를 이리저리 들여다보지만 해답을 금방 찾을 수 없자... 프로그램팀장 '그분들을 다시 한번 모셔옵시다'
이때 이후로 엄청난 랙과 접속 불가능, 이미로그인등의 문제가 계속 됨. 게시판에도 계속 욕이 올라오는데 기억나는 욕중의 하나
'프로그램팀장이 저번에 회의실에서 눈물을 흘렸다고 하던데 이번엔 통곡을 해야 할거다'
그리고 똑같은 조건에서 돌아가고 있는데도 유독 특정 서버만 동접자가 다른 서버의 1/4 이하인 현상이 발생. 원인이 무엇인지 뚜렷한데, 글쓰는 시점 현재는 해결된 상태이지만 어떻게 해서 정상화되었는지도 알 수 없는 일.. (고사를 안 지내서 그런가?)
Episode 5
분명히 DB서버에는 락이 많이 걸린 것도 없고, CPU 차는 것도 없고 디스크 IO도 크게 걸린 것이 없는데 게임내 DB관련 액션들이 엄청나게 응답이 늦게 오기 시작. 이 문제에 대해 어제의 해결사들과 같이 들여다보고 있는데...
그러다 아이보리 서버가 갑자기 정상화됨. 디비쪽의 커넥션 쓰레드 수를 늘린 것이 주효한 것으로 밝혀지는데.. 스트레스테스트때는 왜 잘되다가 지금만 이런 것일까? 역시 알 수 없는 일.
지금 이시각 아이보리 서버 이후로 순차적으로 서버를 점검하면서 정상화 중
오늘은 여기까지.. 내일 점심쯤까지는 모두 고쳐지지 않을까 기대하고 있습니다
정말 성공하시면(이미 반절은 성공했죠 시작이 반이니)
편해지실듯, 아시아에서 김학규라는 이름이 널리 퍼지는 그날을
기리며..