[아이티데일리]

데이터는 이미 전 세계 모든 조직들의 핵심 자원으로 자리잡았다. 전 산업 분야에서 폭발적으로 생산되는 데이터를 효과적으로 활용하지 못하는 조직은 앞으로의 비즈니스 환경에서 생존을 보장받기 어렵다. 반대로 데이터의 중요성을 일찌감치 인식하고 선제적으로 관련 인프라를 준비해온 조직들은 보다 유리한 환경에서 비즈니스를 영위해나가고 있다.

SSG닷컴(SSG.COM)은 이러한 데이터의 중요성을 선제적으로 인식하고 대응해온 기업 중 하나다. 상품 검색, 고객 주문, 배송, 고객 서비스 등 다양한 유통 서비스에서 생성되는 데이터들을 표준화하고, 변화하는 IT 환경에 따라 데이터 품질 관리 체계를 고도화하면서 높은 신뢰도의 데이터를 제공하고 있다.

10년에 걸친 데이터 프로세스 정립

SSG닷컴은 신세계 그룹의 온라인 쇼핑 포털 ‘SSG닷컴’을 운영하는 이커머스 기업이다. ‘SSG몰’, ‘이마트몰’, ‘트레이더스’ 등 신세계 그룹의 유통 채널들을 온라인 상에서 통합 제공한다. 2014년 출범한 후 매년 꾸준한 매출 상승세를 일궈내며 국내 대표 온라인 쇼핑몰로 자리잡았다. 특히 최근 코로나바이러스 감염증(코로나19)로 인해 온라인 쇼핑 수요가 급증하면서, 지난해에만 상품 거래액이 약 37% 증가하는 호재를 누리기도 했다.

특히 IT 분야에서는 SSG닷컴이 데이터 관리와 활용에 일가견이 있는 대표적 기업으로 꼽힌다. 통합 포털에서 신세계 그룹 산하의 다양한 온라인 유통 서비스를 제공하고 있음에도, 방대한 데이터의 수집‧저장‧통합‧활용 등 전 과정을 효과적으로 관리해 가치있는 인사이트를 생산하고 있기 때문이다. 서비스 개시 이후부터 장애가 거의 발생하지 않고 다운타임이 적은 안정적인 서비스 품질을 유지하고 있으며, 지난 2017년에는 뛰어난 데이터 품질 관리 역량을 인정받아 과학기술정보통신부 장관상을 수상하기도 했다. 실제로 SSG닷컴의 데이터 관리 역량과 노하우는 많은 국내 유통기업들이 학습해 선도적인 사례로 활용하고 있다.

물론 SSG닷컴도 처음부터 뛰어난 데이터 관리 체계를 갖추고 있었던 것은 아니다. 신세계 그룹에서 SSG닷컴 출범이 구체화된 것은 2012년이었는데, 이때까지만 해도 아직 선진화된 데이터 관리 체계는 갖춰져 있지 않았다. 데이터 관리에 대한 내부적인 기준이나 관련 제품 도입도 부족한 상황이었다.

하지만 SSG닷컴은 향후 비즈니스 운영을 위해 데이터의 중요성이 더욱 높아질 것으로 예상하고, 출범이 결정된 2012년을 기점으로 데이터 관리 체계를 새롭게 가다듬기 시작했다. 가장 먼저 시작한 것은 데이터 모델링 도구를 도입한 것이다. 처음에는 글로벌 기업의 데이터 모델링 도구를 도입했으나, 가격이나 성능 등을 종합적으로 고려해 엔코아의 ‘DA샵(DA#)’ 제품을 도입했다. 엔코아의 데이터 컨설팅 노하우를 기반으로 개발된 ‘DA샵’은 데이터 모델링의 전 과정을 쉽고 효율적으로 추진할 수 있어, SSG닷컴 출범 전에 기존 데이터 관리 체계를 현행화하는 데에 큰 도움이 됐다.

데이터 표준화로 서비스 통합 대처

당시 신세계 그룹이 SSG닷컴을 출범한 것은 그룹 내 다양한 유통 서비스들을 단일한 채널에서 제공하기 위함이었다. 대형마트에서 만날 수 있는 중저가 상품들과 백화점이 갖추고 있는 고가 상품들을 한 곳에서 접할 수 있도록 함으로써 양쪽의 고객들의 교차 구매를 유도하겠다는 계획이다. 이에 2012년 하반기부터 통합 온라인 쇼핑 포털 ‘SSG닷컴’ 개발이 시작됐다.

기존에 따로 운영되던 유통 서비스들을 단일한 채널로 통합하기 위해서는 각 서비스들에서 사용하던 용어들을 표준화할 필요가 있었다. 데이터의 용어 정리, 데이터 표준화, 즉 메타데이터 관리는 조직의 데이터 활용을 위한 선결조건이다. 용어가 통일되지 않으면 조직원들끼리 소통이 어려워지기 때문이다. 각 서비스들이 서로 다른 용어를 사용하면 통합 서비스 내에서 데이터 간의 연동이 어렵고 협업이 이뤄지지 않는다. 가령 같은 데이터를 A서비스에서는 ‘주문 번호’로, B서비스에서는 ‘주문NO’로 분류하고 있다면 각 서비스 담당자간에 혼선이 생길 수 있다. 따라서 통합 서비스를 구축할 때는 이를 하나의 분류 체계, 같은 메타데이터를 가진 컬럼으로 정리해주는 것이 중요하다.

SSG닷컴이 단순한 서비스 허브 역할만 수행하던 초창기에는 큰 문제가 생기지 않았다. SSG닷컴에 접속한 고객을 각각의 유통 서비스들로 넘겨주는 방식이었기 때문이다. 하지만 최종적으로 SSG닷컴에서 모든 서비스들을 통합해 제공하기 위해서는 무엇보다 서비스 용어 정리와 데이터 표준 관리가 필수적이었다. SSG닷컴은 처음에 외부 기업을 선정해 데이터 표준 프로젝트를 추진했지만, 최종적으로는 엔코아의 메타데이터 관리 도구 ‘메타샵(META#)’을 도입하고 기존의 ‘DA샵’과 연동해 활용하기로 결정했다.

물론 굳이 기존 데이터들을 다 갈아엎지 않더라도 분석 자체는 수행할 수 있다. 별도의 DW를 구축해 분석에 필요한 데이터들만 모아놓고, 해당 데이터들을 분석 목적에 맞게 표준화해서 사용하면 된다. 하지만 DW를 구축하거나 분석을 수행할 때마다 데이터 표준화 작업을 수행해야 하므로 효율성이 떨어진다. 반면 사전에 전사 데이터에 대한 표준화가 이뤄진다면 데이터 준비 과정이 단축되므로 분석 업무의 생산성을 크게 향상시킬 수 있다. SSG닷컴은 ‘DA샵’과 ‘메타샵’ 등을 통해 기존의 데이터 관리 체계를 대대적으로 혁신하면서 전사 데이터의 현행화‧표준화 작업을 수행했으며, 이를 통해 기획팀-개발팀 사이의 소통을 원활히 하고 데이터의 효과적 활용을 위한 기반을 갖추게 됐다.

뛰어난 품질 관리로 대외적 인정 받아

데이터 표준화와 메타데이터 관리 체계를 갖춘데 이어, SSG닷컴은 2015년부터 본격적으로 데이터 품질 관리에 주목하기 시작했다. 데이터 활용성을 높이기 위한 또 다른 조건은 보유한 데이터의 품질을 높이는 것이다. 기껏 필요한 데이터를 찾았는데 잘못된 값이 들어가 있다면 쓸모가 없으며, 이것이 반복돼 사용자가 데이터를 신뢰할 수 없게 되면 데이터 분석의 결과값도 믿을 수 없게 되기 때문이다. ‘데이터가 틀릴 수 없는 구조’가 갖춰져야 데이터의 가치와 분석 결과의 신뢰성이 보장한다.

따라서 기업은 데이터가 올바르게 수집‧저장‧관리될 수 있도록 데이터 거버넌스를 갖추는 것은 물론, 언제든 잘못된 데이터를 찾아내고 수정‧보완할 수 있는 방법을 마련해야 한다. 여기에는 누락된 데이터나 오타를 찾아내는 것은 물론, 잘못된 컬럼에 들어간 데이터를 올바른 컬럼으로 옮기거나 적합한 양식으로 작성됐는지를 확인하는 일련의 과정이 포함된다. 가령 ‘주문번호’ 컬럼에 제품명이 들어가 있거나, 5자리 숫자로 작성돼야 하는 ‘주문번호’ 항목에 10자리 숫자가 들어가있는 경우를 찾고 수정하는 것이다.

SSG닷컴의 데이터 품질 관리에는 엔코아의 품질 관리 솔루션 ‘DQ샵(DQ#)’이 도입됐다. SSG닷컴은 사전에 데이터 모델링과 표준화를 추진하며 쌓은 경험을 바탕으로 사내 데이터베이스 모든 컬럼에 대해 어떤 데이터가 어떤 형태로 저장돼야 하는지를 설정하고, 매주 전사 데이터에 대한 분석 작업을 수행하면서 데이터 품질을 높여나갔다. 특히 조직이 확대되면서 모든 사용자들의 개별적인 데이터 접근을 하나하나 점검할 수 없으므로, 중앙에서 정확한 데이터 거버넌스를 확립하고 이를 ‘DQ샵’ 등의 제품으로 시스템화하면서 장기적인 데이터 품질 확보가 가능해졌다.

이러한 공로를 인정받아 2017년에는 ‘대한민국 데이터 품질대상’에서 과학기술정보통신부 장관상(대상)을 수상했으며, 한국데이터진흥원이 수행하는 ‘데이터품질관리인증(DQC-M)’ 3레벨을 획득하고 품질 관리 모범 사례로 선정되기도 했다. 특히 ‘데이터품질관리인증’의 경우 단순히 보유하고 있는 데이터의 현재 품질만이 아니라 전체 데이터 프로세스가 얼마나 체계적이고 지속적으로 데이터 품질을 유지하는지를 점검하기 때문에 더욱 의미있는 성과다.

계보 관리로 향상된 데이터 프로세스 마련

한편 SSG닷컴은 현재 운영하고 있는 데이터 관리 체계를 더욱 확장하기 위해 데이터 계보(Data Lineage) 관리에 주목하고 있다. 데이터에 접근할 수 있는 사용자가 늘어나고 사내 IT 시스템이 점점 복잡해지면서, 각각의 데이터가 어떻게 생성됐고 활용되고 있는지를 실시간으로 파악할 필요가 생겼기 때문이다. 정확한 데이터 계보 관리가 수행되지 않으면 데이터의 정합성에 문제가 발생할 수 있고, 이는 데이터의 신뢰성에 큰 문제를 가져올 수 있다.

특히 최근 MSA(Micro Service Architecture)가 각광받으면서 데이터 계보 관리에 대한 필요성은 더욱 증가했다. 기존에 한 덩어리로 움직이던 서비스들이 자잘하게 나뉘면서 데이터를 요구하고 활용하는 관리 포인트가 몇 배나 늘어났기 때문이다. 이러한 상황에는 직관적인 데이터 거버넌스 정책도 필요하지만, 전체 데이터의 흐름을 일목요연하게 시각화해 보여줘 데이터 유통의 투명성을 높이고 오류를 찾아낼 수 있는 솔루션 도입이 필요하다.

“DBA의 역할은 IT 조직의 ‘협상가’다”
김신 SSG닷컴 데이터베이스팀 팀장

 

Q. 효과적인 DB 관리를 위해 필요한 것은?

무엇보다 중요한 것은 다른 조직들과의 소통을 지속적으로 유지하는 것이다. 단순히 DB 설치나 운영을 잘하는 DBA(Database Administrator)는 많다. 뛰어난 DBA는 조직 내에서 협상가의 역할을 해야 한다. DBA의 주장이 너무 강하면 개발팀이 힘들어진다. 반대도 마찬가지다. DBA나 개발팀이나 혼자서 할 수 있는 것은 거의 없다. 어느 정도 기준을 두고 서로 양보할 건 양보하면서 협업할 수 있는 구조를 만들어야만 기업의 IT가 잘 굴러간다.

따라서 DBA는 서비스 기획자들이나 개발자들과 꾸준히 소통하면서 그들이 어떤 것을 필요로 하는지 파악해야 하고, 우리가 어떤 것들을 제공할 수 있는지 어필해야 한다. 이런 것들이 사전에 이뤄지지 않으면 기존의 업무 프로세스와 다른 방식으로 협조 요청이 날아온다. 이러면 기획자나 개발자는 물론, 데이터 관리조직도 귀찮아진다.

SSG.닷컴에서도 예전에는 기획자가 기획안을 내놓으면 개발자가 이를 검토하고 우리에게 지원 요청을 했다. 하지만 지금은 우리와 개발자들이 함께 모여서 아이디어를 공유하고 최적의 설계를 찾아 수행한다. 개중에는 욕심있는 개발자들이 DB 설계부터 직접 하려고 들기는 하지만, 서로 평소부터 대화를 많이 나누고 각자가 잘 할 수 있는 업무에 집중하는 게 업무 효율을 높일 수 있는 방법일 것이다.

Q. 데이터 관리 체계를 혁신하려는 기업에게 조언하자면?

데이터 관리 체계를 개선하기에 가장 좋은 시기는 사내에서 차세대 프로젝트를 추진하려는 시점이다. 데이터 모델을 새롭게 그리고 용어나 도메인을 잡는 것은 대규모 작업이 될 공산이 높기 때문에, 모든 IT 기능과 인프라가 새롭게 만들어지는 차세대 프로젝트 시점이 가장 좋다. 기존에 운영하던 시스템에서 단계적으로 개선해나가려고 하면 개발자들의 업무량은 늘어나는데 효과를 보기는 어렵다.

한편 차세대 프로젝트를 수행할 때에는 데이터 관리 측면을 전담할 수 있는 중앙 조직이 있어야 한다. 각각의 개발자들에게 설계를 맡기면 각자가 필요한 DB나 DW를 따로 만들어버리기 때문에, 차세대 프로젝트를 수행했는데도 전체적인 복잡도가 낮아지지 않는 결과가 나온다. 그러니 큰 그림을 그릴 수 있는 중앙 조직을 둬서, 통합할 것은 과감히 통합하고 조직 간에 다툴 만한 요소도 중재하게 해서 중심을 잡아줘야 한다.

Q. 데이터 관리 역량을 지속적으로 높일 수 있는 방법은?

SSG닷컴은 DB 장애를 겪은 적이 거의 없다. 지난 10년 간 DB 장애는 딱 한 번 발생했고 한 시간 이내에 수습됐다. 외부적으로는 새벽에 발생한 정전 때문에 서비스가 중단된 적이 있지만 복구에 오랜 시간이 걸리지는 않았다. 이같은 서비스를 위해 우리 팀은 DB 관리를 매우 빡빡하게 하고 있다. 어떠한 경우에도 DB에 접근하기 위해서는 우리 팀의 승인이 필요하고, 항상 실시간으로 DB 운영 현황을 모니터링하고 문제 상황을 파악할 수 있는 시스템을 구축해 운영하고 있다. 비슷한 서비스 규모를 가진 기업들과 비교하자면 SSG닷컴의 DB 관리 역량은 업계 최고라고 생각한다.

하지만 DB 같은 인프라들은 문제없이 운영되면 어느 순간부터 그게 당연한 것처럼 느껴진다. 문제를 일으키지 않는 아이에게는 신경을 쓰기 어려운 것처럼, 너무 잘 운영되고 있으니까 아무도 관심을 갖지 않아서 조직 내에서 가볍게 여겨지기 쉽다. 최근 한 임원으로부터는 우리 팀이 산소같은 역할이라는 얘기를 들었다. 있을 때는 아무렇지도 않고 당연하게 느껴지지만 없으면 죽는다는 의미다.

DB, 나아가서 데이터 관리 같은 근본적인 부분들이 개선되려면 평소에 유관 부서들이 관심을 가지고 더 잘할 수 있는 방법을 함께 고민해야 한다. 이런 문화가 조직의 IT 역량을 탄탄하게 만든다.