데이터 분석의 선행 과제

산업화 시대를 지나 정보화 시대로 접어들면서 데이터의 잠재적 가치가 새롭게 주목받고 있다. 4차 산업혁명의 핵심에는 데이터와 AI가 자리하고 있고, 빅데이터는 일반인들에게 더 이상 낯선 단어가 아니다. 정부도 막대한 자금을 투입하여 데이터 경제 활성화를 위한 다양한 정책을 펼치고 있다. 데이터를 모르면 경쟁에서 살아남을 수 없으며 미래의 먹거리도 데이터를 통해 창출되는 시대를 맞이하고 있다.

데이터가 부가가치 창출의 원천으로 인식되면서 데이터거버넌스에 대한 관심도 높아지고 있다. 조직 내외부의 데이터를 적시에 확보하고 이를 효과적으로 활용할 수 있는 체계가 필요하기 때문이다. 우리는 데이터 홍수라는 정보화 시대에 살고 있다. 하지만 실제 사업에 유용하고 수익도 창출하는 데이터 활용은 쉽지 않은 것이 현실이다. 풍요 속에 빈곤이라는 말처럼 방대한 데이터 속에서 정작 필요한 데이터를 찾기가 쉽지 않다. 빅데이터 환경을 통해 대규모의 데이터 확보에는 성공했지만 그 속에서 길을 잃고 혼란에 빠지는 경우도 많다. 데이터거버넌스의 필요성이 급부상하는 것도 데이터 확보와 이의 효과적 활용이 얼마나 어려운 과정인지를 반증하고 있다.   

데이터를 전문적으로 다루는 데이터사이언티스트를 채용하여 데이터의 전략적 활용을 모색하고 있는 조직이 늘어나고 있다. 데이터 분석을 통해 사업 방향을 설정하고 경쟁우위를 확보할 수 있는 데이터 모형을 개발하기 위한 접근이다. 하지만 이러한 활동이 기대한 만큼의 성과를 거두고 있지는 못하다. 이는 데이터를 수익과 연결하는 경험의 부족도 한몫을 차지하고 있지만 보다 치명적인 문제는 데이터 자체에 있다.

전략적 분석에 필요한 데이터가 충분하지 않을 뿐만 아니라 그대로 사용하기에는 곤란한 품질 수준을 보여주고 있다. 그러다 보니 데이터사이언티스트들은 대부분의 노력을 데이터 수집과 정제에 소모하게 된다. 유능한 고급 인력의 시간은 데이터 분석이 아니고 데이터 확보와 정제와 같은 단순하고 소모적인 작업에 낭비되고 있다. 데이터의 전략적 활용을 위한 기반이 얼마나 취약한지를 보여주는 사례이다. 

 

데이터거버넌스 과제

데이터를 새로운 경쟁력의 원천으로 활용하려는 경우 무엇보다 우선적으로 고려해야 할 사항은 데이터거버넌스다. 데이터 확보와 공급의 체계적 관리가 이루어지지 않으면 데이터의 원활한 분석과 활용은 불가능하다. 하지만 이는 지금까지의 데이터 관리가 부실하였다는 의미는 아니다.

일상적인 업무 수행 관점에서의 데이터 관리는 어느 정도 기반을 갖추고 있다. 대부분의 업무가 전산을 통해 움직이는 현재의 상황에서 데이터 관리가 엉망이라면 조직 전체가 혼란에 빠질 것이다. 이미 여러 번의 재구축 과정을 통해 기존 업무시스템의 데이터 관리는 성숙한 수준을 유지하고 있다.

기존 시스템에서 데이터 관리가 무리없이 진행되고 있음에도 불구하고 데이터거버넌스가 시급한 과제로 부상하고 있는 이유는 데이터에 대한 접근이 새로운 관점에서 이루어지고 있기 때문이다. 데이터의 용도, 활용 주체, 방법 등에서 진보적인 전환이 이루어지고 있다. 이에 따라 데이터거버넌스가 직면하고 있는 과제를 정리하면 다음과 같다.

 

▶ 첫째, 데이터 용도의 변화에 대한 대응이다

지금까지 데이터는 업무 수행의 기초 자료로 활용되었다. 이에 따라 특정 업무의 지원에 최적화된 상태를 유지하고 있다. 하지만 데이터가 전략적으로 활용되기 위해서는 특정 업무가 아니라 사업 전반에서 공유되어야 한다. 급변하는 시장의 유동성에 효과적으로 대응하기 위해서는 상황에 맞는 데이터가 수시로 필요하다. 어디에서 어떤 데이터가 필요한지를 사전에 예측할 수 없기 때문에, 사안이 발생하면 즉각적으로 활용할 수 있는 데이터 공급 체계가 필요하다. 해당 업무 담당자만 알면 되던 데이터는 이제는 신속한 상황 대응을 위해 누구나 수시로 접근하여 손쉽게 활용할 수 있어야 한다. 

지금껏 데이터에 대한 접근은 IT를 중심적으로 이루어졌다. 그리고 그 목적은 원활한 업무의 수행에 맞추어져 있다. 하지만 앞으로는 현장에서 필요한 데이터를 현업이 직접 찾고 활용할 수 있는 환경이 제공되어야 한다. 데이터거버넌스는 데이터가 IT뿐만 아니라 현업 모두에게 공유되고 유통될 수 있는 체계를 구축해야 한다. 또한 데이터거버넌스를 통해 시스템 운영의 주체인 IT 중심의 데이터 관리에서 활용의 주체인 현업 중심의 데이터 관리로의 전환이 이루어져야 한다.

데이터의 실질적 활용 주체인 현업의 관점에서 데이터 전반을 파악하고 조작할 수 있는 체계가 갖추어지지 않는다면 아무리 많은 데이터를 확보하고 있어도 이의 전략적 활용과 새로운 가치 창출은 어렵고 고단한 상태를 벗어날 수 없다. 

 

▶ 둘째, 다양한 형태의 데이터를 수용할 수 있어야 한다

일상적 업무가 아니라 새로운 사업 방향을 모색하면서 수익성을 확보하기 위해서는 기존보다 확장된 범위의 데이터가 필요하다. 시스템의 DB에서 관리하는 정형적인 데이터뿐만 아니라 각종 보고서, 분석 자료, 외부 정보, SNS, Web Log, VOC, IoT 등 서로 다른 형태의 데이터를 확보하고 활용할 수 있어야 한다. 수집되는 데이터가 기하급수적으로 증가하고 형태도 다양해짐에 따라 이를 수용할 수 있는 유연한 기술 체계가 필요하다. 정형과 비정형 데이터 모두를 처리할 수 있고, 대용량의 데이터 처리가 원활한 환경이 확보되어야 데이터 활용 효과를 극대화할 수 있고 확장성도 확보할 수 있다.

데이터의 형태가 많아지면 이를 처리하기 위한 기술 또한 복잡성이 증가한다. 기존 기술과 신기술이 조화롭게 접목되어 효과적으로 작동할 수 있는 환경을 조성하는 일이 시급하다. 또한 넘쳐나는 데이터 속에서 필요한 데이터를 선별하고 이들을 다른 데이터와 결합하여 활용할 수 있는 자원으로 변환할 수 있어야 한다. 데이터를 많이 쌓는다고 경쟁력이 확보되지는 않는다. 그 속에서 유용한 데이터를 찾아내고 이를 활용 가능한 형태로 공급할 수 있는 체계를 갖추어야 한다.

 

▶ 셋째, 데이터 결합이 원활하게 이루어져야 한다

데이터 분석을 통해 전략을 도출하기 위해서는 다양한 데이터를 조합하고 다각적인 시각에서 검토가 이루어져야 한다. 단독적인 데이터를 통해 파악될 수 있는 내용은 이미 충분히 활용되고 있다. 하지만 이는 현상의 일부분만을 알려주는 경우가 많다. 전체를 파악하기 위해서는 여러 관점에서 발생하는 데이터를 서로 결합하여 분석해 보아야 한다. 당면한 사안과 관련된 모든 데이터를 수집하고 결합하여 입체적인 파악이 이루어져야만 효과적인 대응책을 마련할 수 있다. 형태나 용도가 다른 데이터가 융복합되면 숨겨진 사실이 드러나고 새로운 길도 찾을 수 있다.

서로 다른 용도에서 만들어진 데이터는 본질적으로 결합이 어렵다. 형태가 상이하고 관리 방식도 제각각이기 때문이다. 이질적인 데이터를 조합하여 활용하기 위해서는 데이터 간의 연결고리가 필요하다. 데이터 활용이 활성화되려면 가능한 많은 연결고리를 찾아내고 이들간의 상호 연결이 용이한 형태로 관리되어야 한다. 그리고 이는 조직 전체의 차원에서 이루어져야 효과적이다. 연결고리의 표준을 사전에 정의하여 데이터의 획득 시점을 통제하는 것이 가장 이상적이지만 최소한 사후적인 변환이 가능해야 데이터의 결합과 활용이 가능해진다. 데이터거버넌스는 여러 곳에 흩어진 연결 고리를 표준화하여 관리할 뿐만 아니라 이들을 중심으로 데이터가 어떻게 서로 연계되고 있는지를 보여줄 수 있어야 한다.

 

데이터 관리와 활용의 선순환

데이터가 경쟁력 확보의 핵심적 자원으로 인식되면서 데이터 분석 및 활용에 대한 다양한 시도가 이루어지고 있다. 하지만 발생하는 사안마다 데이터를 수집하고 정제하는데 많은 시간과 노력이 필요하다면 데이터의 전략적 활용은 한계에 부딪히게 된다. 데이터 활용을 활성화하려면 불필요한 반복 작업을 최소화하여 데이터 수집에서 활용까지의 시간을 단축시켜야 한다. 데이터 획득 및 활용의 경험을 기반으로 기존의 한계를 극복하고 데이터 활용을 극대화할 수 있는 조직 차원의 데이터 관리 체계를 재구성해야 한다.

데이터거버넌스는 부분별 혹은 일회적인 접근이 아니라 조직 전체 차원에서 최적의 데이터 관리 체계를 찾아내고 정착시키려는 노력이다. 그리고 이를 통해 다양한 형태의 데이터를 공유하고 결합하여 전략적으로 활용할 수 있는 기반을 제공한다. 조직의 데이터 관리 역량을 확대하고 데이터의 전략적 가치를 향상시키는 선순환 구조의 중심에 데이터거버넌스가 위치하고 있다.