남궁훈 카카오 비상대책위원회 재발방지대책 공동 소위원장은 7일 '이프 카카오 데브 2022'에서 장시간 먹통 사태 원인과 재발방지책을 발표했다. /사진=이프 카카오 캡처

'미흡한 이중화와 장애복구 인력·자원 부족, 그리고 컨트롤타워 부재...'

카카오 (66,700원 ▼500 -0.74%)가 두 달만에 자체 파악한 서비스 먹통사태 원인들을 공개했다. 사고의 치부 가감없이 드러내는 방식으로 교훈을 되새기고 재발방지의 의지를 다진 것이다.

남궁훈 카카오 비상대책위원회 재발방지대책 공동 소위원장은 7일 개발자 컨퍼런스 '이프 카카오 데브 2022'에서 "카카오 이중화는 섬과 섬 사이의 완성되지 않는 다리와 같았다"라고 고백했다. 미완의 다리는 건널 수 없듯 카카오 이중화도 제 역할을 다하지 못했다는 반성이었다.

지난 10월15일 오후 3시19분경 SK C&C 판교 데이터센터에서 화재가 발생한 후 카카오톡을 비롯해 카카오 공동체 서비스 전반이 먹통이 됐다. 16일 새벽 1시31분부터 카카오톡 메시지 수발신 등 주요기능은 복구됐지만 모든 서비스가 정상화되기까진 약 127시간30분이 걸렸다. 반면 같은 데이터센터를 이용했던 네이버는 12시간 내에 모든 서비스를 복구했다.

카카오 서비스만 복구가 지연된 배경으로 비대위 원인조사소위원장을 맡은 이확영 그렙 대표는 데이터센터 간 이중화와 운영관리도구의 미흡한 이중화를 꼽았다.

하나의 데이터센터에서 장애가 발생하면 다른 데이터센터로 자동전환하는 시스템과 캐시서버·오브젝트스토리지 등 일부 시스템이 판교 데이터센터에만 설치된 데다, 앱 배포 도구 등 서비스 운영·관리를 위한 개발자 도구 역시 이중화돼 있지 않아 복구가 지연됐다는 설명이다. 판교 데이터센터 전원이 들어와 모든 시스템이 정상화되기 전까지 복구가 어려웠던 셈이다.

카카오의 위기대응 과정에도 문제가 노출됐다. 장애복구 인력과 데이터센터 상면(공간) 부족은 치명타였다. 카카오톡과 카카오워크가 먹통이 되면서 사내 대안 커뮤니케이션 채널이 없어 내부 혼선이 빚어진 가운데, 컨트롤타워도 부재했다. 이 위원장은 "카카오와 공동체, 개별조직이 동시 다발적으로 장애에 대응했으나 전체적인 조율과 협업을 지원하는 전사조직이 사전에 세팅돼 있지 않았다"라며 "서비스별로 개발자들이 최선을 다했지만 그것만으론 부족했다"라고 꼬집었다.
"카카오 전시스템 이중화 넘어 삼중화한다"

이확영 카카오 비대위 원인조사소위원장. /사진=이프 카카오 캡처

이에 판교에서만 3만2000대의 서버를 운영하던 카카오는 메인 백본 데이터센터를 기존 2곳에서 3곳으로 확대하고 모니터링 시스템을 다중화하기로 했다. 이채영 재발방지대책소위 부위원장은 "이번처럼 데이터센터 전체 장애가 발생하더라도 모니터링과 장애 탐지가 잘 동작하도록 할 것"이라며 "데이터센터 간 트래픽 증가에 대응하기 위해 설비 투자도 진행하겠다"고 강조했다.

문제가 됐던 운영관리도구와 주요 시스템은 이중화를 넘어 삼중화한다. 또 A서비스 장애가 B에 영향을 미치지 않도록 서비스 간 의존도를 줄이고 중요 기능은 단독실행 구조로 변경한다. 이 위원장은 "인프라 하드웨어 설비부터 서비스 애플리케이션에 이르는 전 시스템에서 다중화를 설계할 것"이라며 "장애 대비 훈련도 확대 강화하겠다"고 약속했다.

그간 고속성장 가도를 달린 카카오는 앞으로 '서비스 안정성'을 최우선 가치로 삼는다는 방침이다. 남궁 위원장은 "본질을 놓치고 있었다. 카카오 ESG(환경·사회·지배구조) 최우선 과제는 '우리의 서비스를 안정적으로 제공하는 것' 그 자체"라며 "조금은 늦었지만 지금이라도 반성하고 개선하겠다. 카카오 서비스 안정화가 우리의 최우선 과제이며 사회적 책임이라는 것을 명심하겠다"라고 말했다.

한편, 카카오는 8일에도 '1015회고' 특별 세션 5개를 열고 데이터센터·인프라설비·데이터·서비스플랫폼·애플리케이션 5개 영역의 다중화 기술을 설명한다. 이 밖에도 카카오 공동체 소속 개발자 120명은 9일까지 진행되는 이프 카카오 컨퍼런스에서 12개 주제로 총 106개 세션을 발표할 예정이다.