데이터거버넌스는 데이터기업이 되기 위한 필수 조건이다

데이터거버넌스는 데이터의 가치를 비즈니스에 활용하고, 데이터 관련 규제를 준수하며, 데이터 품질 오류로 인한 비즈니스 리스크를 최소화하는 역할을 한다. 전통적 기업이 데이터 기업(Data Enterprise)으로 거듭나기 위해서는 데이터거버넌스를 갖추어야 한다.

데이터거버넌스는 다음 네 가지 질문에 답해야 한다.

• Why? 데이터거버넌스는 조직에 어떻게 기여할 것인가?

• Who? 데이터거버넌스는 누가 어떻게 수행하는 것인가?

• How? 데이터거버넌스는 어떤 기술과 도구를 사용할 것인가?

• What? 활용하고 관리해야 하는 데이터는 무엇인가?

  

 

거버넌스 정책

데이터거버넌스 원칙, 표준, 프로세스와 절차 등을 포함한다. 전사의 모든 조직과 구성원이 공통되게 이해하고 준수해야 하는 규칙을 제시한다. 거버넌스 정책이 명확하지 않으면 혼란이 뒤따른다.

• 원칙은 회사의 전략적 목표를 달성하기 위해 요구되는 조직 행동과 원하는 결과에 대한 상위 수준의 설명을 포함함

• 표준은 데이터가 목적에 부합하는지 확인하는 데 필요한 규칙을 정의함

• 프로세스와 절차는 표준의 실행 방법에 대한 세부사항을 제공함

• 대표적인 표준으로는 메타데이터 관리, 데이터 품질, 데이터 보안, 데이터 아키텍처, 데이터 모델링 등이 있음

고려 사항

• 데이터 규모 증가에 따른 자동화

현재 및 향후 환경에서 수작업 관리만으로는 한계가 존재하며, 메타데이터 생성, 검색, 수집, 해석 등에 인공지능, 머신러닝 등으로 자동화 필요함

• 데이터 분산 관리 환경을 고려한 보안 강화

동일한 데이터의 복사본이 서로 다른 물리적 위치에 저장될 수 있는 분산 환경에서 데이터 보안을 다르게 관리해야 함

마이크로 서비스와 같은 새로운 데이터 아키텍처 패턴은 독립적인 요소의 고도로 분산된 환경 때문에 더 쉽게 손상될 수 있으므로 기업 데이터 아키텍처의 서로 다른 구성요소에 걸친 데이터 보안 기능은 조직 전체에 걸쳐 표준화되어야 함.
그렇지 않으면 조직은 상당한 운영, 규제 및 평판 위험에 직면할 수 있음

• 비구조적 데이터 품질을 위한 새로운 과제

비구조적 데이터의 품질을 평가하기 위해 패턴을 인식하고, 정형화된 데이터 세트로 변환, 검증 필요함

비구조적 데이터 신뢰도를 높여야 효과적으로 의사결정에 활용할 수 있음

대량의 데이터를 분석하는 애플리케이션은 기본적인 데이터 품질 이슈에 대하여 즉각 식별, 조치할 수 있는 기능을 스스로 가져야 함

 

역할과 책임

데이터의 생성, 보관, 가공, 활용 등의 과정 동안에 관련된 조직의 역할과 책임을 정의한다. 각각의 데이터에 대해서 누가 어디까지 활용할 수 있는가에 대한 권한 범위도 정의한다.

• 기업은 데이터 관리 및 거버넌스의 맥락에서 비즈니스 프로세스를 촉진, 감독 및 수행하기 위해 조직 내의 공식적인 부서, 역할 및 책임을 정의해야 함

• 프로세스, 정책, 표준 및 절차의 개발 및 구현을 관리하는 데이터거버넌스오피스(또는 협의회)를 구성하고, 데이터거버넌스 콘텐츠를 책임지고 운영 할 비즈니스 및 기술 오너십, 담당자의 책임과 권한을 명확하게 정의함

고려 사항

• 환경 변화에 따른 조직, 직무 및 역할의 변화

새로운 기술 및 환경 변화에 따라 신규, 강화, 약화, 폐지 등 변경되는 역할, 조직 및 직무를 정의함

일상적인 프로세스뿐만 아니라 소프트웨어 개발 수명 주기 자체에 데이터거버넌스 요구사항을 더 많이 반영하여야 함

변화되는 환경에 맞는 신규, 변경되는 조직, 역할, 책임 등이 처음부터 한번에 명확하게 잘 정의될 수 없으나, 실행을 하며 체계화 해나갈 필요가 있음  

 

기술 및 도구

데이터거버넌스를 위해 사용하는 기술과 도구를 정의한다. 기술과 도구들은 통합성이 보장되어야 한다. 조직 전체에 걸쳐 기술과 도구의 일관성이 확보되어야 데이터거버넌스 활동이 효율적으로 이루어질 수 있다.

• 기업 내부와 외부의 분산된 데이터 생태계 곳곳에 위치한 데이터 소스에 액세스하려면 많은 시간, 리소스를 투자해야 하고, 이를 위한 스킬과 도구들이 필요함

• 셀프서비스 데이터 액세스와 통합을 요구하는 수가 증가하고 있고, 기존 방식으로 대응하기 어려움. 비즈니스 사용자가 쉽게 이해하고 사용할 수 있는 도구를 통해 데이터 액세스와 통합을 달성해야함

• 대표적인 툴로는 메타데이터 관리, 데이터 품질, 워크플로우 도구, 데이터 보안 툴 등이 있으며 크게 변화, 발전하고 있음

• 과거에는 연결할 데이터 소스 판단, 준비할 데이터 판단이 문제였으나 지금은 리니지(Lineage), 추적 용이성, 품질에 초점을 맞추고 있고, 스킬을 갖춘 사람들이 도구를 사용해 필요한 데이터를 이용할 수 있도록 지원하는 것도 중요함

• 기존 데이터거버넌스 도구는 환경 변화가 요구하는 다양한 메타데이터 소스와 장치를 지원할 수 없다는 점에서 제한적이며, 향후의 툴은 사후 조치보다는 사전 예방 접근 방식을 채택하고 있음

고려 사항

• 데이터 준비(Data Preparation) 자동화로 복잡도 및 소요 시간 단축

비즈니스 애널리스트, 분석담당자, 현업부서 사용자, 데이터 엔지니어, 데이터 사이언티스트 등 관련자에 따라 요구사항이 다름. 또한 비즈니스 변화에 따라 요구사항은 계속 바뀌고 있음. 따라서 이에 대응할 수 있도록 데이터 프레퍼레이션 도구를 사용하는 것이 바람직함

비즈니스 유저가 스스로 데이터 전처리과정을 수행하여 의사결정을 위한 적기 분석이 가능하도록 지원하는 기반 및 도구 강화해야 함

• 메타데이터 관리 지원 자동화 중요성 강조

표준 인터페이스 체계를 통한 메타데이터 프로비저닝의 자동화와, 수집해야 하는 메타데이터 자산의 볼륨과 다양성 증가에 대응하기 위한 메타데이터 검색 자동화 등 새로운 기능에 대한 검토 필요함

• 실시간 처리가 필요한 데이터 품질 도구

데이터거버넌스 및 데이터 품질 툴은 플랫폼과 통합할 수 있어야 하며, 비구조적 데이터나 대량 데이터의 실시간 처리에 대한 데이터 품질 평가를 수행하고 데이터 품질 문제를 해결할 수 있는 피드백을 제공하는 기능 등에 대한 검토 필요함

• 데이터 보안 툴 레벨업

데이터 보안과 개인 정보 보호는 분산 환경에서 점점 더 중요해지고 있으며 클라우드 환경으로 비즈니스 크리티컬 데이터를 마이그레이션하는 데 중요한 장애가 되는 경우가 많음

 

데이터카탈로그

관리 및 활용 대상이 되는 데이터에 대한 데이터를 확보하고 현재성을 유지해야 한다. 전통적으로는 메타데이터라고도 한다. 대상 데이터 범위가 확장됨에 따라서 데이터카탈로그라는 용어로 대체되는 경향이다. 데이터카탈로그는 사람이 찾아서 입력하기 보다는 인공지능을 활용하여 데이터에 대한 데이터를 수집하는 방식이 도입되고 있다.

• 데이터카탈로그는 데이터의 비즈니스, 기술 및 운영 특성을 분류하는 것임

• 기존 메타데이터 도구는 기술 메타데이터를 지향하며, 변경해야 할 제한된 메타데이터 자산 간의 상호 연관성을 지원했으나, 향후의 메타데이터 콘텐츠는 미래의 데이터거버넌스 프로세스를 관리, 감독 및 측정 지원하는 것이 중요함

고려 사항

• 다양한 메타데이터 관리, 복잡성 증가에 대한 해결

기술 메타데이터 자산의 다양성이 증가함에 따라 메타데이터 수집, 카탈로그 작성 및 검색 프로세스가 더욱 복잡해지고 고급 기법과 접근 방식이 필요함

메타데이터 리포지토리에서 메타데이터들간의 유사성을 발견하고, 숨겨진 연관성을 발견할 수 있도록 지원해야 함

• 비즈니스 의미와 공통화

기술 환경의 변화에 따라 데이터와 구성요소가 서로 다른 개념으로 정의되고 설명되는 아키텍처 환경에서의 비즈니스 의미와 온톨로지가 점점 더 중요해지고 있음

조직은 엔터프라이즈 데이터생태계를 통합적으로 관리해야 하며, 모든 주요 데이터거버넌스 분야 전반에서 개선되어야 함

 

데이터거버넌스는 데이터 소비를 촉진시킨다

데이터 시대의 기업 가치는 데이터가 좌우한다. 디지털시대의 자원인 데이터 생산량은 기업의 잠재가치를 결정한다. 데이터 소비량은 기업의 데이터 활용 능력을 좌우한다. 데이터 기업의 경영 지표로 데이터 생산, 데이터 축적, 데이터 소비 등이 중요하게 될 것이다. 데이터 거버넌스는 기업 내에 데이터 공유와 활용 기반을 제공함으로써 데이터 축적과 소비를 좌우한다.

데이터거버넌스의 목표 수준을 한 번에 달성하기는 쉽지 않다. 대상이 되는 데이터가 광범위하고, 이해관계자들이 다양하게 존재하기 때문이다. 또한 데이터 관리 프로세스가 정착되어야 한다. 따라서 반복적으로 접근하는 것이 바람직하다. 처음에 해야 할 일은 데이터거버넌스 프레임워크를 정의하는 것이다. 조직에 따라 비즈니스와 데이터 유형이 다르기 때문에 데이터거버넌스 프레임워크는 참조 모델을 기반으로 커스터마이징하는 방식으로 도입해야 한다.