데이터가 있다고 해서 활용되는 것은 아니다

비즈니스인텔리전스(business intelligence, 이하 BI)는 조직이 더 좋은 의사결정을 내릴 수 있도록 데이터를 수집, 저장, 분석, 접근을 지원하는 응용시스템과 기술이다①. BI는 비즈니스에 대한 종합적인 뷰(view)를 생성하여 체계적인 의사결정을 지원하는 것으로 1960년대 의사결정지원시스템(Decision Support System)에서 처음 시작되었다. 이후 BI는 데이터를 중심으로 지능적인 비즈니스 수행을 도모하는 것으로 발전되어 왔다. 

① 네이버 지식백과

BI라는 용어가 정의되어 사용되기 전부터 데이터를 활용하기 위한 기술 도입, 시스템 구축은 계속 진행되어 왔다. 조직(기업)은 정보계 구성, OLAP, EDW, 데이터 시각화, 리포팅, 데이터마이닝 등 다양한 기술, 인프라를 확보하여 경쟁적 우위를 확보하고자 하는 노력을 하였다. 여기에 대규모 외부 데이터, 비정형 데이터까지 분석, 활용의 범위에 포함시키고자 빅데이터 플랫폼도 다수의 조직(기업)에서 활용하고 있다. 

조직이 데이터 활용 기반을 구축하기 위해 지속적으로 노력해온 이유는 무엇일까? 데이터는 비즈니스 활동을 통해 수집, 생성된다. 데이터와 비즈니스는 맞닿아 있다. 비즈니스 성과 창출과 목표 달성을 위해 데이터를 살펴보는 것은 유의미하다. 그런데 데이터를 바로 업무에 활용하는 것은 쉽지 않다. 그래서 조직(기업)은 데이터를 업무에 활용할 수 있도록 지원하는 체계가 필요했다.

BI를 구축했음에도 데이터 활용 이슈는 여전히 해소되지 않고 있다. 그 이유는 무엇일까? 일반 사용자에게 매력적인 시스템은 업무에 직접적인 도움, 성과를 제공하면서 사용하기 편리하고 입맛에 맞게 편집하여 활용할 수 있는 시스템이다. 데이터 분석, 활용을 통해 정보를 제공하는 BI는 일반 사용자다 접근하기는 쉽지 않다. 데이터 활용을 위한 기반이 준비되지 않은 상태에서 일방적으로 데이터 활용을 강조하기 때문이다.

첫째, 현업 담당자들이 데이터 리터러시를 갖추어야 한다 

가트너는 미래의 데이터 활용은 시티즌데이터사이언티스트들이 큰 역할을 할 것으로 전망했다. 시티즌데이터사이언티스트는 “통계학이나 데이터 분석이 주 업무 분야가 아닌 인원이 예측 또는 처방의 목적을 위해 데이터 분석 모델을 정의하거나 생성하는 사람(a person who creates or generated models that leverage predict or prescriptive analytics, but whose primary job function is outside of the field of statistics and analytics)”이다. 가트너는 시티즌데이터사이언티스트가 소위 데이터사이언티스트에 비해 훨씬 우수한 데이터 분석 결과를 제공할 수 있다고 분석하였다(2019)

조직에서도 데이터가 가치를 발휘하기 위해서는 데이터분석조직이 아닌 실제 업무 수행 부서의 담당자가 데이터를 활용할 수 있어야 한다. 데이터 리터러시(Data Literacy)는 데이터를 이해하고 조작하며 의미를 해석할 수 있는 능력을 의미한다. 데이터 분석과 활용은 그 결과를 비즈니스에 적용할 일반 사용자가 주도해야 한다. 

지식, 경험, 기술 등을 보유하지 않은 일반 사용자가 데이터를 바로 사용하기는 쉽지 않다. 그래서 전문 인력 중심의 전담 조직의 필요성은 인정된다. 그러나 데이터 분석 결과를 활용하기 위해서는 관련 분야에 대한 경험과 지식 즉, 도메인 지식(domain knowledge)이 있는 일반 사용자의 평가와 해석을 거쳐야 한다. 그러면, 도메인 지식을 갖고 있는 조직(기업) 내에서 일반 사용자로 포함되는 인원이 보다 손쉽게 빅데이터를 분석, 활용할 수 있도록 지원(reskilling or upskilling)하여 전담조직을 운영 비용을 줄이고 점증적으로 데이터 활용 범위를 확대하는 것이 훨씬 효과적이고 효율적이라고 볼 수 있다. 

둘째, 현업 담당자에게 데이터 활용 환경을 제공해야 한다

도메인 지식을 갖고 있는 조직 내 일반 사용자가 데이터 분석, 활용을 주도할 수 있도록 데이터사용 편의성을 확보해야 한다. 데이터 분석, 활용은 데이터베이스, IT, 통계학, 기계 학습(machine learning), 데이터 분석을 위한 프로그래밍, 알고리즘 등 다양한 분야에 대한 전문 지식이 필요하다는 기존의 틀(frame)에서 벗어나 누구나 데이터 분석, 활용을 할 수 있는 환경을 제공해야 한다.

데이터 분석, 활용을 위해서 선행되어야 할 사항이 바로 데이터 준비(data preparation)이다. 이는 필요 데이터 정의, 수집, 평가, 정제, 가공의 절차를 거쳐 분석 데이터셋(dataset)을 생성하는 것이다. 데이터 준비를 위한 노력이 전체 분석 노력의 80% 이상을 차지한다. 중요하지만 상당히 지루하고 반복적인 작업이다. 분석 주제에 따라서 필요한 데이터를 바로 활용할 수 있도록 데이터 준비를 한다면 데이터 활용은 빠르게 확대될 것이다.

셋째, 데이터거버넌스를 도입하여 조직에 정착시켜야 한다 

데이터 분석, 활용이 확대되면서 최근 중요성이 높아지고 있는 것이 바로 데이터거버넌스(data governance)이다. 데이터거버넌스는 조직(기업)에서 업무 전반에 데이터 활용이 확산에 따른 데이터 품질의 중요성이 높아지게 되면서 2000년대에 등장하였다. 

이후, 전사 데이터 기준을 하나로 정의하여 고품질의 데이터 관리를 지원하기 위한 기준데이터관리(Master Data Management)가 확산되고 데이터 전략 개념도 도입되었다. 이후 디지털 경제와 4차 산업혁명으로 인해 데이터의 중요성이 더욱 높아짐에 따라 물리적인 자산에서 데이터 주도(data-driven) 경영으로 확산되면서 데이터거버넌스는 성공적인 디지털 탈바꿈을 위한 인프라로 확대되고 있다②. 데이터거버넌스 개념 정립과 발전을 종합하면 데이터 분석, 활용에 대한 중요성 확대로 데이터거버넌스가 관리 영역에서 디지털 인프라로 중요성이 확대되고 있음을 볼 수 있다.

② 김인현, 『데이터 거버넌스, 어떻게 발전해 왔는가?』, 투이컨설팅, 2020

데이터거버넌스를 중심으로 잘 준비되어 있는 데이터는 조직(기업)의 중요한 경쟁 요소로 자리매김할 것이다. 특히, 최근 전례 없는 COVID-19의 대유행으로 인해 조직(기업)의 경영 환경의 불확실성이 갈수록 높아지고 있다. 이러한 불확실성의 시대에 먼저 예측하고 능동적이고 유연한 경영 활동을 통해 위기를 극복하고자 하는 노력은 점차 생존의 영역으로 이동하고 있는 중이다. 이런 시기에 기업 내부에 있는 데이터를 분석, 활용하는 것보다 시시각각 변화하는 상황을 인지하기 위해 외부 데이터를 수집, 분석하여 발생 가능하다고 보여지는 시나리오를 구체화하는 것이 중요하다. 그러나 문제는 외부 데이터는 조직이 관리해 왔던 내부 데이터와 달리 데이터 품질이 균일하지 않고 데이터 준비를 위한 시간이 필요하다. 따라서 향후 데이터거버넌스의 중점은 내부 데이터에 대한 활용성을 높이는 방향과 더불어 외부 데이터에 대한 수집과 관리, 분석 및 활용을 지원할 수 있는 방향까지 확대될 것으로 예상된다.

넷째, 데이터 보안과 프라이버시 체계를 통해 데이터 신뢰 기반을 확보한다

데이터는 자산이면서 어느 정도 위험성을 갖고 있다. 데이터가 유출되면 기업 경영이 위협을 받게 된다. 고객 데이터가 유출되면 고객 신뢰를 상실하게 되고, 고객 기반이 약화된다. 데이터 관련 법규를 지키지 않으면 상당한 수준의 벌칙과 벌금을 받게 된다. 데이터 활용은 안심하고 데이터를 사용할 수 있는 체계가 갖추어져야 비로소 확산될 수 있다.

금융회사들은 고객 데이터를 수집하고 분석하여 마케팅에 활용하고자 하는 욕구가 강하다. 하지만 실제 활용에는 소극적인 경우가 많다. 그 이유는 고객데이터를 활용하는 과정에서 데이터 유출 등이 발생하면 심각한 경영 위험을 겪게 되기 때문이다. 조직 내부의 데이터 보안과 프라이버시 체계를 통해서 이러한 우려를 불식시켜야 한다.

데이터를 활용한 새로운 비즈니스의 가치도 커지고 있다. 데이터3법의 개정에 따라서 데이터 거래가 활발하게 이루어질 수 있는 환경이 조성되었다. 대규모 데이터를 갖고 있는 조직은 데이터를 직접 판매하거나, 또는 데이터 분석을 토대로 새로운 비즈니스를 시도하여 큰 성과를 거둘 수도 있다. 이러한 전략 과제를 추진하기 위해서는 우선 조직 내부에 데이터 보안과 프라이버시에 대해서 문제가 없다는 확신을 가질 수 있어야 한다.

다섯째, 데이터옵스를 도입하여 비즈니스에 빠르게 적용한다

데브옵스(DevOps)는 소프트웨어 개발과 운영을 통합함으로써 IT스피드를 빠르게 하는 방식이다. 디지털 경영 환경의 변화 속도가 빨라짐에 따라서 비즈니스 기민성은 더욱 강조되고 있다. 최근에는 비즈니스에서 IT구현까지의 스피드 향상을 위한 비즈데브옵스(BizDevOps)가 주목을 받고 있다. 데이터옵스(DataOps)는 데이터 분석 결과가 비즈니스에 바로 적용될 수 있는 방식을 뜻한다.

데이터의 가치는 시간이 지날수록 급격하게 감소한다. 고객의 구매의사가 확인된 시점과 오퍼링 시점의 시간 간격이 벌어질수록 오퍼링이 채택될 가능성은 크게 떨어진다. 카드 분실, 부정 거래 발생 등의 이벤트에 따른 대응 조치는 빠를수록 피해를 최소화한다. 수요와 공급을 실시간으로 분석하여 균형 가격을 산출할 수 있다면 더 큰 수익을 창출할 수 있다.

데이터옵스는 데이터 엔지니어링 조직이 사용자에게 더욱 빠르고 광범위하게 준비된 데이터를 제공할 수 있도록 해주는 인프라와 문화를 결합한 프레임워크로 데이터 엔지니어링, 데이터 통합, 데이터 품질 및 데이터 보안 등을 결합하여 비즈니스와 연계해 데이터를 활용한 가치 창출 시간을 단축하는 것이 목표이다③. 데이터옵스는 데이터 발생에서 인사이트 확보, 실행까지 걸리는 시간을 최소화한다. 이를 위해서는 조직의 역할과 책임, 분석 프로세스 등을 재구성하고, 분석 결과가 바로 업무에 적용될 수 있는 애널리틱스 배포 환경도 갖추어야 한다. 데이터옵스는 애널리틱스의 진화 주기를 단축함으로써, 궁극적으로 조직의 데이터기반 통찰력을 강화하게 될 것이다.

③ 데이터솔루션, 『데이터를 운영하라, 데이터옵스(DataOps)』, 2020(https://blog.naver.com/newdataworld/221960702835/)

시작은 데이터거버넌스부터!

2010년 무렵에 빅데이터 개념이 소개되었다. 그리고 데이터사이언티스트라는 직업이 미래의 유망한 직업으로 떠올랐다. 이후 대부분의 조직들이 빅데이터 인프라를 도입했고, 관련 조직을 신설하는 등 적극적으로 투자해왔다. 하지만, 아직까지 데이터이즘은 조직 전체에 확산되지는 못한 상태이다. 빅데이터 개념 등장 이후 데이터 경제는 빠르게 진화하였다. 지금은 데이터를 잘 활용하는 조직이 더 큰 성과를 거둔다는 것은 진리가 되어 있다.

데이터주도기업(Data Driven Enterprise)이 된다는 것은 선택의 문제가 아니다. 데이터주도기업이 되기 위해서 해야하는 과제는 많다. 동시에 수행하기는 쉽지 않다. 기본은 데이터거버넌스를 갖추는 것이다. 데이터거버넌스는 조직 내에 데이터가 흘러가게 할 뿐만 아니라 누가 어떻게 데이터에 기여할 것인가를 정한다. 데이터거버넌스가 갖추어지면, 현업 담당자들의 데이터리터러시가 향상될 것이다. 현업이 데이터를 강하게 요구할 때 데이터 도구와 환경이 자연스럽게 갖추어질 수 있다. 

데이터거버넌스 정립은 다음 내용을 포함해야 한다.

▶ 조직이 사용하는 데이터의 흐름 (내부 및 외부 포함)
▶ 데이터 흐름에 관여하는 직무들의 책임과 역할
▶ 전사적으로 공유되는 데이터의 의미와 예시
▶ 데이터 보안 및 프라이버시 등 데이터 컴플라이언스 대응
▶ 데이터 활용을 위한 아키텍처와 도구