투이컨설팅 김찬수 상무
[요 약]
빅데이터 분석 프로젝트는 파일럿/시범사업의 형태에서 분석 전략계획과 파일럿이 병행되는 형태로 확대되고 있다. 또한 분석 알고리즘의 구현에 있어서도 머신러닝(AI, 딥러닝 포함) 도입이 일반화되고 있으며, 챔피언 모델/앙상블 모델 등 최적의 베스트 모델을 구현할 수 있는 방식으로 고도화되고 있다.
향후에는 구현된 분석 모델을 재강화할 수 있도록 지속적인 실험과 실험 환경에 대한 데이터 관리, 빅데이터 거버넌스 체계 확립, 분석과 데이터 지표(metric)의 자산화된 관리가 필요하다. 또한 분석 전략계획 수립은 빅데이터에서 한걸음 더 나아가 기업의 디지털 트랜스포메이션을 위한 관점으로 확장될 필요가 있다(본 내용은 한국데이터진흥원이 발간하는 2017 데이터산업백서에 게재될 예정입니다).
1. 분석 전략계획 수립 동향
1) 분석 프로젝트 접근 방법의 변화
2015년까지 국내에서 이루어지는 대부분의 (빅데이터) 분석 프로젝트는 특정 업무영역의 분석 주제를 선정하여 파일럿 구축 또는 시범사업 구축 형태로 진행되어 왔다. 대부분의 빅데이터 분석 프로젝트가 파일럿 구축 형태로 수행된 것은 몇 가지 이유에 기인한다.
▶ 분석 프로젝트 성과에 대한 불확신
▶ 지속적인 대형 프로젝트(예: 차세대 시스템 구축) 진행의 여파로 비즈니스 현업의 분석 프로젝트 참여가 제한적이었던 점
▶ 그럼에도 불구하고 시장 전반에 불고 있는 빅데이터 트렌드와 정부의 빅데이터 추진 정책
그러나 2016년도를 기점으로 특정 업무를 대상으로 한 파일럿 구축 형태의 Bottom Up 접근 방식에서 분석 전략계획 수립이라는 전사적인 분석에 대한 기획에서부터 출발하는 Top Down 접근 방식으로 빅데이터 프로젝트를 시도하는 기업이 늘어나기 시작했다.
파일럿 형태, 시범사업 형태의 진행으로는 체계적이고 지속적인 분석 도입에 한계가 있음을 체감하게 되었고, 이에 따라 전사적으로 필요한 분석 기회의 발굴과 구체화, 빅데이터 아키텍처에 대한 청사진 설계, 단계적 구축 방안 도입을 위한 로드맵 수립의 필요성을 인지했기 때문이다.
그러나 과거의 정보전략계획 수립처럼 철저히 컨설팅 성격의 프로젝트로 진행하지 않고, 분석 전략계획 수립과 병행하여 Quick Win 분석 과제를 동시에 진행하여 계획 수립과 분석 도입의 타당성 검증을 동시에 진행하는 방식으로 프로젝트들이 진행되고 있다.
2) 분석 전략계획 수립의 목표
분석 전략계획 수립 프로젝트 진행을 통해 기업들이 주요하게 얻고자 하는 것은 크게 5가지로 요약할 수 있다.
▶ 전사 비즈니스 모델, 비즈니스 전략, 목표 달성 및 강화를 위한 기업의 핵심 의사결정요소를 데이터 분석 기반으로 실행하기 위한 핵심 분석기회 발굴(분석 전략계획 수립에서는 과거의 정보계 전략에서 모든 통계성 분석을 도출하는 것과 달리 비즈니스 목표/모델 달성을 위한 핵심 분석 기회에 초점을 맞춘다).
▶ 발굴된 핵심 분석 기회를 정의하고, 분석 질문 도출을 통해 구체화
▶ 분석 질문에 대한 대답을 얻기 위해 필요한 기업 내외부의 정형/비정형 데이터를 리스트 업하고 해당 데이터의 가용 상태, 중요도, 수집 난이도 등을 평가
▶ 분석과 분석에 필요한 데이터를 수집-저장-처리-활용하기 위한 분석 아키텍처 수립
▶ 도출된 분석의 비즈니스 관점의 중요도, 분석에 필요한 데이터의 활용 가능 수준 등을 고려한 분석 프로젝트 도입 로드맵 수립
3) 분석 역량 내재화
최근에 진행되고 있는 빅데이터 분석 프로젝트의 주요한 특징으로는 분석 역량 내재화를 들 수 있다. 단순히 컨설팅-구축-운영 유지보수로 이어지는 과거의 방식에서 벗어나, 분석 역량을 내재화 하여 기업 스스로 분석을 지속적으로 실행해나가기 위한 프로그램을 프로젝트에서 요구하고 있다. 즉, 빅데이터 분석 프로젝트 기간 동안 분석에 대한 교육 프로그램 실행과 분석 과정에도 외부 수행사와 공동으로 수행하는 방식을 통해 내부 조직원의 분석 역량 강화를 도모하고 있다.
2. 분석 기법 적용 동향
1) 머신러닝 도입 일반화
알파고를 기점으로 머신러닝(딥러닝, AI등)의 실효성에 대한 인식이 대폭 변화됨에 따라, 분석 구현 프로젝트에서 적용되는 알고리즘도 머신러닝 기법을 적용하는 것이 일반화되었다. 현재 국내의 분석 프로젝트에서 머신러닝이 적용되는 유형은 3가지 형태를 보인다.
▶ 분석이 제대로 적용되어 있지 않던 영역에 머신러닝을 신규로 도입하는 경우(예: 로보어드바이저, 챗봇, 이탈 예측 모델, 상품 추천 모델 등).
▶ 기존의 전통적 분석 모델을 적용하고 있던 영역에 머신러닝 모델과의 성능 비교를 통해 대체를 고려하는 경우(예: FDS에 적용되던 전통적인 회귀분석/룰 기반 스코어 모델과 신규로 머신러닝 모델을 통한 스코어링을 통한 성능 비교를 통해 기존 모델의 대체 가능성 검토). 특히 기존 전통적 통계모델을 머신러닝 모델로 대체를 고민하는 주요한 이유는 성능 관점뿐만 아니라, 비슷한 성능을 낸다면 주기적으로 모델을 갱신하는데 어려움을 겪고 있던 전통적 통계/룰 방식에서 머신러닝 모델을 통한 운영/업데이트 용이성을 고려하기 때문이다.
▶ 기존 전통적 분석 모델과 머신러닝 모델과의 조합을 통한 상호보완하는 경우(예: 신계약 유지율 예측에 전통적 스코어 모델 머신러닝 스코어 모델 매트릭스를 조합하는 경우).
2) 챔피언 모델, 앙상블(블렌딩) 모델 방식 적용
분석 알고리즘 구현에 있어 최근 진행되는 분석에서 특징적인 것은 챔피언 모델, 앙상블 모델 방식 적용이 보편화되고 있다는 점이다. 초기 분석 프로젝트에서는 특정 분석기법 한 두 가지로 분석을 수행하는 것이 일반적이었다. 그러나 고객의 수준과 눈높이가 높아지고, 분석가의 역량도 강화되면서 여러 가지 분석 기법을 적용하여 경쟁시켜 가장 우수한 모델을 최종 모델로 선정하는 챔피언 모델 방식과 여러 분석 기법을 혼합하여 최적 모델을 만들어 내는 앙상블(블렌딩) 모델 방식 적용이 점점 보편화되어 적용되고 있다.
3) 다양한 비정형 데이터의 분석 적용
※ 위 내용은 '투이톡' 모바일 앱을 통해서도 확인하실 수 있습니다. 
▲ 그림 1 앙상블 모델
분석에 사용되는 데이터 또한 점점 확장되고 있다. 콜센터 상담 녹취(음성) 데이터를 텍스트로 자동 전환하는 STT(Speech to text) 엔진을 기반으로 고객의 소리를 지수화하여 고객의 상품 구매 니즈, 이탈 징후 등을 예측하는 각종 분석을 위한 주요 변수로 사용하고 있다. 또한 텍스트 데이터뿐만 아니라 고객의 온라인 홈페이지의 행동 로그의 패턴을 파악하여 고객의 여정맵을 발굴하고 옴니채널에서의 이슈를 파악하는 CX(Customer Experience) 분석에도 활용되고 있다.
아래의 그림은 이탈예측모형 분석에 사용되는 다양한 비정형 데이터에 대한 예시이다.
▲ 그림 2 이탈예측모형에 사용되는 비정형 데이터
- 다음 회에 계속-
하루 5분, 스마트해지는 시간~투이톡!!
