Data Driven Enterprise가 되기 위한 방안, 데이터옵스 도입 [1부] - 개념과 필요성
상태바
Data Driven Enterprise가 되기 위한 방안, 데이터옵스 도입 [1부] - 개념과 필요성
  • 조형진 이사
  • 승인 2019.12.31 04:05
  • 조회수 3608
  • 댓글 0
이 콘텐츠를 공유합니다

 

디지털 시대는 데이터가 자산이다. 데이터를 많이 보유하고 있는 기업이 부자 기업이고, 데이터를 잘 활용하는 기업이 성과가 높은 기업이다. 디지털 시대 기업들의 성패는 데이터 기업이 되는가에 달려 있다. 따라서 많은 기업들이 데이터를 전담하는 임원을 선임하고, 데이터 조직을 신설하는 등의 노력을 하고 있다. 하지만 데이터 전담 조직이 실제로 성과를 내지 못하고 있는 것이 현실이다. 데이터 전담 조직은 다음과 같은 약점이 있다.

첫째, 대부분의 데이터는 IT부서가 운영하고 있다. 데이터 전담 조직은 IT부서의 협조가 없으면 데이터를 확보하거나 가공할 수 없는 경우가 대부분이다.

둘째, 데이터 분석의 대상인 업무는 담당 현업 부서가 오너십을 가지고 있다. 데이터 전담 조직은 실제 업무의 문제를 찾거나, 개선하는 일을 하기에 충분한 권한을 갖고 있지 못하다.

셋째, 데이터 분석 결과는 업무에 적용되고, 결과를 분석하여 다시 피드백하는 사이클을 돌리기가 실제로 불가능하다. 이러한 기술 환경을 갖추고 있지 못하기 때문이다.

위와 같은 사유로, 데이터 전담 조직이 겉도는 경우가 많다. 이러한 상황을 타파하기 위한 방안으로 대두되고 있는 것이 바로 데이터옵스이다.

디지털 탈바꿈 시대, 데이터를 어떻게 잘 활용하느냐에 따라 기업의 경쟁력이 좌우되는 시대가 되었다.


데이터에 대한 새로운 접근 방식, 데이터옵스

데이터옵스는 데이터 프로젝트의 새로운 접근방식으로 크게 애자일, 데브옵스, 통계적 프로세스 제어 방식을 기반으로 한다.
데이터 관점에서 애자일은 신규 또는 업데이트 된 분석 개발을 관리하고, 데이터 분석의 엔드투엔드의 사이클 타임을 단축시킨다. 데브옵스는 소프트웨어 개발과 운영의 협업을 통해 코드 검증을 최적화하고, 새로운 분석모델을 생성하고 제공한다. 통계적 제어 프로세스는 데이터 소스로부터 소비에 이르는 데이터 파이프라인에 대한 오케스트레이션 및 모니터링을 통해 데이터 품질을 향상시킨다.
 

[그림 1] 데이터옵스 접근방식

 

데브옵스와 데이터옵스

데이터옵스는 데브옵스 사상을 데이터(또는 분석)로 확장한 개념이다.

데브옵스는 최근 몇 년동안 소프트웨어 개발에서 널리 사용되는 방법론이 되었다. 개발과 IT 운영의 협업을 통해 새로운 소프트웨어 개발 및 배포에서 관리에 이르는 개발 주기의 모든 단계를 자동화하였다. 개발주기의 단축 및 배포 주기를 증가함으로써 “시장 출시 시간”을 단축하였다.

데브옵스가 소프트웨어 개발 방식의 변화였다면, 데이터옵스는 데이터 관리 방식의 변화라고 할 수 있다. 자동화 된 데이터 파이프라인 기반의 신속하고 민첩한 분석을 지원하며, 데이터 흐름에 대한 오케스트레이션을 통해 데이터 품질을 향상시킨다. 특히 개발, 운영 및 데이터 조직간의 커뮤니케이션 및 협업을 강조하고 있다.
 

투이톡_데이터옵스_2.jpg

[그림 2] 데브옵스와 데이터옵스 비교, / 출처: https://devops.com

 

데이터옵스 왜 필요한가?

Enterprise Management Associates의 설문조사에 따르면 “데이터 품질”, “자동화”, “신속한 분석 제공” 등이 데이터 에코시스템 운영에 있어 중요한 데이터옵스의 측면으로 인식되고 있다.
 

투이톡_데이터옵스_3.jpg


[그림 3] 데이터 에코시스템 운영에 있어 중요한 데이터옵스 측면 / 출처: Enterprise Management Associates

분석에 필요한 데이터 소스와 종류의 수, 복잡성이 높아지고 있다. 기업 내·외부에 분산되어 있는 데이터 소스에 액세스하기 위해서는 많은 시간과 리소스를 투입해야 하고, 이를 지원하기 위한 새로운 스킬과 도구들이 필요하다. 또한 셀프서비스 데이터 액세스 및 준비에 대한 니즈가 점점 높아지고 있다. 따라서 데이터 관리에 대한 보다 민첩한 접근이 요구되며 이러한 환경을 구축하는 것이 필요하다.

기업은 다양한 소스 데이터를 사용하여 제품, 고객 및 시장을 잘 이해해야한다. 이를 위해서는 데이터의 흐름을 효과적으로 모니터링 할 수 있어야 한다. 데이터가 너무 늦게 제공되거나 데이터 품질도 좋지 않은 데이터를 가지고 있다면 변화하는 비즈니스의 요구를 충족시킬 수가 없다. 데이터를 사용하는 조직은 신속한 데이터 분석에 유용한 고품질의 데이터를 안정적으로 제공할 수 있는 프레임워크가 필요하다.

데이터 과학자, 데이터 분석가, 개발자 등은 모두 관련 있는 고품질의 데이터에 액세스할 수 있어야 한다. 하지만 팀 또는 개발 시스템, 응용 프로그램 등의 사일로(Silo)로 인해 데이터 액세스에 한계가 존재하기도 한다. 데이터옵스는 조직 전체의 데이터 관리자와 소비자 간의 데이터 흐름을 통합하고 자동화하여 데이터 활용을 개선 및 지원하는 역할을 한다. 데이터 거버넌스 하에서 필요한 곳 어디에서나 데이터를 제공할 수 있고, 누구나 쉽게 액세스할 수 있는 속도와 품질을 높일 수 있다.

 

데이터옵스 어떻게 접근해야 하는가?

데이터옵스는 기업의 데이터 흐름을 중심으로 사람, 프로세스, 기술 등 주요 구성요소의 변화가 불가피하다. 그러면 조직에서 데이터옵스를 구현하기 위해 무엇이 필요한가?

첫째, 데이터와 관련된 다양한 이해관계자를 식별해야 한다. 비즈니스 사용자, 데이터 관리자, 개발자, 데이터 품질(QA)팀, 운영 팀 등을 명확히 식별해야 한다.

둘째, 기업 내 다양한 프로세스를 정의해야 한다. 요구사항 프로세스, 개발 프로세스, 데이터 테스트 프로세스, 테스트 데이터 관리, 프로덕션 데이터 모니터링, 결함 추적 등과 같은 프로세스를 정의해야 한다.

셋째, 코드 레파지토리, QA 자동화 솔루션, 데이터 변환 솔루션(TDM), 분석 소프트웨어, CI/CD 소프트웨어, 프로덕션 모니터링 소프트웨어 등 올바른 도구를 제공해야 한다.

* ‘Data Driven Enterprise가 되기 위한 방안, 데이터옵스 도입 2부: 프로세스와 조직’으로 이어집니다.

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.