KT 사태 ‘exit’ 명령어 빠진 탓… 협력업체끼리 작업 등 ‘총체적 인재’

전국에서 KT 네트워크가 마비되는 사태가 발생한 지난 25일 서울 시내 한 카페 키오스크에 현금결제 안내문이 붙어있다. 뉴시스

KT 인터넷 장애는 협력업체 직원이 ‘exit’ 명령어 하나를 누락한 결과, 1만개 정보를 교환하는 시스템에 수십만개 정보가 잘못 전송돼 발생한 것으로 확인됐다. 이번 사고는 총체적 부실이 쌓인 인재였다. 작업관리자 없이 새벽에 예정된 작업을 낮에 한데다 망차단을 하지 않았고 지역에서 발생한 문제가 전국으로 퍼지는 것을 막을 시스템도 없었다.

◆30초만에 오류 전국으로… 명령어 왜 빠트렸나

과학기술정보통신부는 29일 정부종합청사에서 “KT 네트워크 장애사고는 25일 11시 16분부터 시작돼 DNS 트래픽 증가에 이어, 네트워크 장애가 발생했고, 12시 45분경 KT의 복구조치가 완료돼 약 89분의 서비스 장애가 발생했다”고 밝혔다.

과기부는 작업내역 확인 결과 부산 신규기업용 라우터에 라우팅 설정명령어 입력 과정에서 명령어를 마무리하면서 ‘exit’ 명령어를 빠뜨렸다고 설명했다. 이로 인해 BGP 프로토콜에서 교환해야 할 경로정보가 IS-IS 프로토콜로 잘못 전송됐다. BGP 프로토콜은 외부 라우터와 수십만개 수준의 경로정보를 주고받는 반면, IS-IS는 내부 라우터간 교환용으로 1만개 이하 경로정보를 주고 받는다. 1만개밖에 처리할 수 없는 곳에 수십만개 정보가 몰리면서 라우팅 경로에 오류가 발생한 것이다.

이 오류가 전국으로 확산하는 데는 단 30초 밖에 안 걸렸다. 라우터들은 정보 최신화를 위해 자동으로 데이터를 주고받는다. 부산 신규 기업용 라우터의 잘못된 라우팅 정보는 부산 백본 라우터를 거쳐 서울 혜화·구로센터 라우터(중앙)→타 지역 백본 라우터→기타 라우터 순으로 확산했고 전국망이 마비됐다.

홍진배 과학기술정보통신부 정보보호네트워크정책관이 29일 정부서울청사 브리핑실에서 25일 발생한 KT 네트워크 장애 원인분석 결과를 발표하고 있다.    연합뉴스

◆밤에 할 작업을 낮게…KT 시스템 부실

지역 실무자의 실수가 전국적 재난으로 확산한 데는 총체적 관리 부실이 있었다.

당초 KT 네트워크관제센터는 밤 1∼6시 야간작업을 승인했으나 이를 어기고 낮에 작업이 진행됐다. 과기부 측은 시간대 변경과 관련 “KT측 관리자와 협력업체 직원이 합의한 것으로 안다”며 “야간 작업을 좋아하는 사람은 없기에 주간작업을 한 것으로 파악했다”고 설명했다. 또 작업 관리자 없이 KT 협력업체 직원들끼리 작업했으며 망 차단을 하지 않고 네트워크가 연결된 채로 작업이 이뤄졌다.

과기부 관계자는 “네트워크 작업은 야간에 1, 2시간 끈 다음 하고 오픈하는 게 기본 상식”이라며 “파란불에 (길을) 건너라는 것과 똑같다”고 설명했다.

라우팅 작업계획서에서 명령어 누락을 확인할 수 있었음에도 스크립트 작성과 KT 측의 사전검증 과정에서 이를 발견하지 못했다. 게다가 오류 여부를 사전에 발견할 시뮬레이션이 없었고, 지역에서 발생한 오류가 전국으로 퍼지는 것을 막을 시스템도 부재했다.

구현모 KT 대표가 28일 서울 종로구 KT혜화타워(혜화전화국) 앞에서 지난 25일 발생한 KT의 유·무선 인터넷 장애와 관련해 취재진에 답변하고 있다.  공동취재사진

인터넷 프로토콜 TV(IPTV)와 음성전화·문자메시지 서비스는 인터넷 서비스와 별도 망을 사용하고 있다. 그러나 인터넷 장애로 전화와 문자 이용이 늘고 사용자들이 스마트폰이 고장났나 싶어 끄고 켜는 과정에서 트래픽이 증가해 부하가 가중된 것으로 나타났다.

최초 원인으로 지목됐던 디도스(분산서비스거부·DDoS) 공격은 없었음이 확인됐다. 과기부는 다량의 도메인 또는 비정상 도메인을 DNS 서버에 질의하는 ‘시스템 자원 공격’이나 대량의 네트워크 패킷을 DNS 서버에 전송해 서비스 대역폭을 채우는 ‘네트워크 대역폭 공격’ 모두 발견되지 않았다고 발표했다.

송은아 기자 [e-mail]