빅데이터 캐즘 극복 과제
상태바
빅데이터 캐즘 극복 과제
  • 투이컨설팅
  • 승인 2019.03.14 07:17
  • 조회수 3457
  • 댓글 0
이 콘텐츠를 공유합니다

투이컨설팅 김찬수 상무

디지털 경제의 원유는 데이터라고 한다. 데이터가 자원이며 데이터 활용 능력이 경쟁력이다. 대부분의 기업이 데이터에 투자를 아끼지 않고 있는 것은 당연하다. 또한 공공 기관도 데이터 확보와 활용을 위해 빅데이터 센터 조직을 도입하는 등 다방면으로 노력하고 있다. 하지만 아직까지는 기대 만큼의 성과는 보이고 있지 못한 것이 현실이다.


빅데이터 캐즘 극복이 관건이다. 캐즘은 신기술을 도입하여 확산하는 과정에서 반드시 만나는 단계이다. 캐즘을 넘어서면 파일롯 수준에서 전사로 적용 범위가 확대되고 본격적으로 효과가 발생하기 시작한다. 빅데이터 활용으로 효과를 내고 있지 못한 이유는 빅데이터 캐즘을 뛰어 넘기 위한 노력이 부족하기 때문이다.


과제 1. 데이터사이언스 수행 주체 변화


국내외 모든 기업들이 데이터사이언스 전문가를 채용하거나 육성하는데 어려움을 토로하고, 전문가 채용경쟁을 하고 있다. Fobes에 2029년 경에는 데이터사이언티스트라는 직함이 사라질 것이라는 기사가 게재되었다. 현재 데이터사이언스팀이 경영진이 원하는 ROI를 보여주고 있지 못하고, 인공지능 및 기계학습의 발전으로 인해 데이터사이언티스트 수행 작업의 많은 부분이 자동화 되고 있으며, 실제로 데이터엔지니어링에 더 많은 시간을 투입하고 있는 것을 이유로 들었다.


데이터 분석 포탈인 Data Central은 Fobes의 기사에 대해 반론을 제기하는 컬럼에서 데이터사이언티스트가 사라지지는 않을 것이지만, 데이터사이언티스트의 주요한 역할은 기존의 분석모델 개발에서 일련의 데이터사이언스 과정을 자동화 하는데 보다 많은 비중을 두어야 한다고 이야기 하고 있다. 이상과 같은 사항들을 종합해 볼 때, 데이터사이언스는 업무별로 현업 주도하에 분석 전문역량을 가져가는 형태로 변화될 것으로 전망된다. 데이터 분석은 현업 부서가 직접 수행하게 될 것이다.
 

투이톡_빅데이터_1.jpg
[그림 1] 데이터사이언스 역할 변화

과제 2. 내부직원 역량 강화


많은 기업들이 내부직원 역량 강화를 위해 주로 접근하고 있는 방식은 주로 분석 알고리즘을 학습하는 데 포커싱 되어 있어, 실제 분석업무 역량을 강화하는 데는 한계를 보이고 있다. 데이터분석의 실행하기 위해서는 각 단계별로 비즈니스, 데이터, 알고리즘, IT 시스템 역량의 조화가 필요하다. 즉 비즈니스 파트와 기술 파트에서 데이터 분석과 활용을 위한 다양한 직무역량이 존재한다.


내부직원의 데이터사이언스 역량강화를 위해서는 1) 데이터분석을 위한 직무유형과 이를 수행할 대상 조직/직원을 매칭하고, 2) 세분화 된 직무유형별로 필요한 역량을 정의하고, 3) 이에 따른 직무별 교육훈련 프로그램과 교육방식(집중교육 및 멘토링)을 세분화하여 적용하는 접근이 필요하다.
 

투이톡_빅데이터_2.jpg
[그림 2] 데이터분석을 위한 직무 설계

과제 3. 외부 전문가 확보


데이터사이언티스트 채용은 데이터사이언티스트라는 역할 자체를 채용하는 것이 아니라, 각 현업조직의 비즈니스 목표달성에 가장 적합한 분석역량과 업무비전을 설정하고, 이를 기반으로 인력을 채용하는 것이다. 즉 외부 전문가 채용을 위해서는 우선적으로 자사의 비즈니스 목표달성을 위한 직무를 정의하고, 이를 수행하기 위해 필요한 분석 스킬셋과 수준을 정의하는 방식으로 접근해야 한다.


또한 외부 전무가 확보를 위해서는 채용뿐만 아니라 다양한 채널(대학/기관과의 파트너십, 전문 스타트업을 통한 소싱, 인수합병, 크라우드 소싱 등)을 통한 확보전략이 필요하다. 확보 전략에는 다양한 인력확보 채널에 대한 전략적인 접근뿐만 아니라, 계약방식(기술지원용역, 인력파견, 파트타임계약, 계약직채용 등)에 대한 다양한 고려 또한 필요하다.

과제 4. 애자일 프로세스 도입


데이터분석은 전통적 업무시스템 개발방식과는 차별화 된 접근이 필요하다. 분석은 한번에 완벽한 정답을 만들어 내는 시스템이 아니다. 점진적 정의/개발의 반복적 과정을 통해 지속적 최적화를 이루어 가는 방식이다. 즉 빠르게 요건을 정의하여 모델을 개발/실험하여 결과(반응)를 확인하고, 다시 요건을 추가보완하여 모델개발/실험의 반복과정을 통해 점진적으로 완성도를 높여가는 방식이다.


아마존에서는 제품개발을 위해 그로스해킹의 PMF(Product Market Fit) 개념을 활용하여 “소비자로부터 출발하여 거꾸로 일하기(working backwards from the customer) 방식을 적용하고 있다. 제품을 완벽히 준비해서 출시하지 않고 계획 단계에서부터 시장에 공표해 소비자의 반응을 파악/반영하여 초기계획을 지속적으로 반복 수정하는 과정을 거친다.
 

투이톡_빅데이터_4.jpg
[그림 3] 분석의 애자일 프로세스

과제 5. 데이터사이언스 자동화


오픈소스 기반의 하드코딩으로 이루어지던 초기 분석방식에서 많은 부분이 점점 자동화 되기 시작하였다. 현재에도 데이터 준비 자동화 및 패턴화 된 데이터 분석(추천, 부정탐지 등)을 제공하거나, 데이터준비-분석-시각화까지 일련의 분석과정을 통합 지원하는 데이터사이언스 자동화 플랫폼(솔루션)들이 점점 많아지고 수준이 높아지고 있다.


2025년까지는 데이터사이언스 자동화가 현재 분석전문가가 수행하는 수준으로 이루어질 것으로 전망되고 있으며, 데이터사이언스 자동화 수준이 기업경쟁력과 직결될 것이다.

과제 6. 데이터 거버넌스 도입


기업은 지속적으로 데이터 표준 및 품질관리를 IT 중심으로 해오고 있으나, 비즈니스 전략과 연계되는 데이터 관리방식으로의 변화가 필요하다. 즉 기존의 IT 관점의 방어적 관리 목적(운영비용 절감, 보안, 접근통제, 품질 등)의 데이터 관리와 비즈니스 관점의 공격적 관리 목적(개인화 오퍼링을 통한 매출향상, 신상품/서비스 출시, 데이터의 상품화 등)이 균형적인 조화를 이루는 형태로의 변화가 필요하다.


데이터 분석 조직 및 인력, 프로세스, 관리방식의 변화를 체계적으로 가져가기 위해서는 데이터 거버넌스 체계의 수립이 필요하다. 즉 Data Driven Enterprise라는 비전 하에 이를 실행하기 위한 통합적인 정책과 실행기반(기술, 인력/조직)을 정의하고 이에 따라 전략적으로 추진하는 접근법이 필요하다.

 

투이톡_빅데이터_5.jpg
[그림 4] 데이터기업을 위한 데이터거버넌스

- 끝 -

* 본 칼럼은 105회 Y세미나에서 발표된 내용으로 7회로 나눠 연재될 예정입니다.  많은 관심 부탁 드립니다.
 
[목차]
1회. 데이터경제 전망과 데이터 카테고리 
2회. 오픈데이터 확산을 위한 핵심 과제
3회. 빅데이터 캐즘 극복 과제
4회. 마이데이터 도입 과제
5회. 연구데이터 과제
6회. 데이터프라이버시 의식수준 조사
7회. 데이터 미신과 진실

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.