데이터 시스템의 환경 변화로 데이터 관리의 복잡성이 증가하고 있는 가운데 데이터 시스템과 관련한 메트릭 스토어, 피처 스토어, 데이터 패브릭, 데이터 레이크 등 4개의 변화 요소가 등장, 주목을 받고 있다.
29일 서울 여의도에서 열린 빅데이터집단지성(운영위원장 김영실) 월례 오찬 모임에서 김찬수 투이컨설팅 상무가 ‘데이터 환경 변화에 따른 새로운 데이터 시스템 트렌드’를 주제로 강연했다.
김 상무는 최근 분산·이종 데이터 환경 확산으로 인해 데이터 프로비저닝의 복잡성이 증가하고 있다고 설명했다. 또한 과거에는 데이터베이스만 데이터 자산으로 인식되었지만 최근에는 데이터 파이프라인, 코드, 데이터정책, 분석모델, 데이터 서비스 API 등 데이터 자산 관리의 범위가 확장되고 있으며 이에 따라 메타데이터 관리의 복잡성도 증가하고 있다고 강조했다.
이러한 관점을 반영하며 전 세계적으로 메트릭 스토어, 피쳐 스토어, 데이터 레이크하우스, 데이터 패브릭 등 4가지의 데이터 시스템 변화 요소가 등장했다.
메트릭 스토어는 데이터 웨어하우스와 분석·업무 어플리케이션 사이에 위치해 주요 비즈니스 지표(Metric)를 정의·생성·관리·제공하는 ‘중앙 집중식 저장소’다. 독립적인 중앙의 메트릭 스토어를 이용해 분석·업무 어플리케이션에서 데이터를 분석하는 사람들이 동일한 지표 논리로 작업해 전사에 일관성 있는 정보를 제공할 수 있게 한다.
김 상무는 “메트릭 스토어를 활용할 경우 대시보드 스프롤 현상을 방지해 지표 값 불일치를 해소할 수 있다”며 “지표 값 생성의 반복 작업(테이블생성·쿼리·코드 작성)을 최소화하여 업무 효율성도 개선할 수 있다”고 말했다.
피처 스토어는 머신러닝 모델 개발·운영 사이클 전반에 걸쳐 피처에 대한 중앙 허브 역할을 수행하는 데이터 플랫폼이다. 원시 데이터를 피처로 변환하는 데이터 파이프라인 실행과 피처의 저장·관리를 통해 모델 학습·운영(추론)을 위한 피처 데이터의 일관성 있는 관리·제공을 가능하게 한다.
데이터 레이크하우스는 다양한 유형의 모든 데이터를 현업, 데이터 분석가 등의 사용자들이 AI·머신러닝 등에 활용할 수 있도록 적재하여 제공하는 ‘단일화된 통합 저장소’다. 기존 데이터레이크의 한계인 관계형 데이터베이스에서 제공하는 ACID 트랜잭션과 스트리밍-배치데이터 통합처리를 제공하는 개방형 저장소라는 게 김 상무의 설명이다.
끝으로 데이터 패브릭 체계를 가져가기 위해서는 데이터 카탈로그의 확장이 필요하다. 업무 활용 관점에서는 기존의 IT 관리 중심의 기술 메타데이터에서 비즈니스 현업조직이 이해하고 활용할 수 있는 비즈니스 메타데이터, 운영메타데이터, 데이터계보 정보로 확장도 필수다.
또한 현재와 같이 수많은 다양한 유형의 데이터가 지속적으로 발생함에 따라 사람에 의한 ‘수동적 메타데이터 관리체계’에서 메타데이터의 생성부터 변경관리 및 데이터 관련자들간 협업까지 자동화 할 수 있는 기능까지 제공하는 ‘능동 메타데이터 관리체계’로의 기술적 확장도 필요하다고 김 상무는 강조했다.
한편 이날 월례 오찬 모임에는 이상기 코스콤 박사, 최원규 비에이코리아 대표, 김찬회 소만사 자문위원, 강명주 넥타르 부사장, 오태권 금융정보연구회 부회장, 노석종 지티지 부사장, 김덕진 맥스피아 사장 등이 참석했다.
출처 : 하이테크정보(http://www.hitech.co.kr) , 안재석 기자
