업무 파트별 실판 대비 Tip 공유
안녕하세요, 고운(가명) 기자입니다. 한국이 처음으로 아이폰 1차 출시국으로 지정된 만큼 아이폰16 출시에 대한 기대가 아주 뜨거운 가운데, KT one system(kos) 시스템 운영을 담당하는 “고객운영팀”에서는 아이폰 16 출시를 위해 어떤 사전 업무를 진행하는지 먼저 알아보았습니다.
실판 당일에는 어떤 업무들을 수행하는지 실판 상황실로 이동하겠습니다.
준비 완료! : 실판일의 아침
저는 현재 kt ds 상황실에 현장에 나와 있습니다. 갤럭시/아이폰 출시 날에는 시스템 오픈부터 대량의 데이터가 발생하기 때문에 장애 상황에 대비하기 위해 평소보다 2시간 일찍 출근해서 이렇게 온라인 상황실과 오프라인으로 상황창을 구성합니다.
고객 운영팀은 각 업무 파트별로 실판 당일 어떤 업무를 진행하는지 알아보겠습니다.
계약파트
매시간 전략 단말 실적(모델별 신규 개통, 번호이동 등 개통 건수)을 자동으로 집계하여 담당자에게 전달하고, 고객운영팀에서 개발한 프로그램이 소수의 실무자에게 수신된 개통 건수를 분석하여 실적표를 만들어 전송합니다.
또한 번호이동 시 필요한 데이터인 개시 전문이 잘 생성되었는지 모니터링하고 포트인(타사->자사)/포트아웃(자사->타사) 건수의 통계를 추출해 상황창에 공유합니다.
연동파트
주요기관인 SGI와 KAIT의 요청과 오류율을 통계내어 상황창에 공유하고, 대외 연동 업무의 트래픽을 모니터링합니다. 그리고 대외기관의 오류 발생 시에 즉시 조치하고 있습니다.
상품파트
우수 기변, 패드개통, 스마트 개통, 개통 시에 요금제, 부가서비스 가입/변경 서비스 호출 및 OTT 상품 후처리 연동 모니터링을 진행하고 있습니다.
기기파트
스폰서, 보험 레퍼런스 등 아이폰16과 관련된 레퍼런스들이 잘 적용되었는지 한 번 더 점검합니다. 그리고 매시간 기기 변경된 건수와 단말보험에 가입한 건수 등의 데이터 통계를 제공하며, 대기 순번을 관리하고 임계치 미달 대기 건 모니터링, 대기 발생 시 즉각 조치합니다.
그리고 OTA(Over The Air)를 추가로 모니터링하여 고객이 단말 구매 후 USIM 정보 업데이트가 지연되지 않도록 확인합니다. 우리가 새로운 단말을 불편없이 사용하기 위해서는 매우 많은 연동과 후처리 작업이 있는 것은 운영자만 알고 있는 비밀(?)이라고 볼 수 있습니다.
위와 같이 실판 당일에는 시스템 모니터링 외에도 다양한 실시간 통계 추출 작업이 진행됩니다. 고객운영팀에서는 '운영자는 데이터만 보면 된다'라는 관점에서 벗어나 추출 작업을 비롯한 단순 작업을 자동화하는 프로그램을 지속적으로 개발하여 사용하고 있습니다.
실판 당일에도 실적 자동 추출 프로그램, Error Queue 재처리 자동화 프로그램 등을 개발하여 사용함으로써, 분 단위로 업무를 수행하는 운영자들의 단순 업무를 줄여, 서비스 안정화 및 장애 복구 등 보다 주요한 업무에 더 집중하는 모습을 보여주고 있습니다.
예상치 못한 돌발상황 발생
사전작업과 당일 작업을 한다고 해도 데이터 발생률이 높 보니, 예상치 못한 오류나 장애가 발생하기도 합니다. 오류가 발생하게 되면, 우선 가장 빠르게 전략 단말 메신저 상황창에 오류 발생 사실을 알려야 합니다.
이후에 각 파트들이 오류 발생 원인과 조치 방안에 대해 회의를 진행 및 공유합니다. 예시로, 갤럭시 폴더블 6 실판일에 발생했던 오류입니다.
KT 고객의 단말보험 가입정보를 외부기관인 모빈스로 전송, 이후 모빈스가 KAIT와 현행화 하는 작업이 있습니다. 이는 KAIT에서 3사 보험가입자의 중복수혜를 막기 위해 구성되었는데 전략 단말과 같이 다량으로 트래픽이 발생하여 모빈스와 KAIT 구간이 지연되는 사건이 있었습니다.
이런 경우 고객이 단말보험을 가입한 후 KAIT로부터 보험정보 확인이 불가하여 다량의 VOC가 발생할 수 있었지만 사전에 해당 케이스를 대비하여 만들어둔 "KAIT보험 사전체크 SKIP" 레퍼런스를 적용해 바로 장애를 해소할 수 있었습니다.
이처럼 실판 당일에는 평소보다 급증하는 사용으로 시스템 내/외부에서 예기치 못한 장애가 발생할 수 있는데, 운영자의 빠른 판단으로 VOC와 시스템 지연을 줄이는 것이 중요합니다.
상황실 마무리
오늘은 전략 단말 출시날에 kos 시스템 운영자들은 어떤 업무를 진행하는지 취재를 하였습니다. 출시 첫날 발생하는 오류나 장애 발생을 빠르게 대처함으로써 시스템 안정을 책임지는 kt ds 임직원분들의 수고가 느껴지는 하루였습니다.
지금까지 고운(가명) 기자였습니다.