디지털 경제의 진화 방식, A/B 테스트
상태바
디지털 경제의 진화 방식, A/B 테스트
  • 이소현 컨설턴트
  • 승인 2019.11.19 04:42
  • 조회수 2706
  • 댓글 0
이 콘텐츠를 공유합니다

 

"사람들은 보여주기 전까지는 자신이 원하는 것이 무엇인지 모른다"
 

투이톡_ab테스트_1.jpg


애플은 아이팟과 아이폰 등 혁신적인 제품으로 큰 성공을 거두고 있는 기업이다. 이러한 제품을 만들어내는 일은 스티브 잡스가 주도했다. 스티브 잡스가 세상을 떠났을 때 많은 전문가들이 애플은 더 이상 혁신 제품을 만들어낼 수 없을 것이라고 평가했을 정도였다. 스티브잡스는 어떻게 이러한 혁신 제품을 만들어낼 수 있었을까? 스티브잡스는 시장 조사를 신뢰하지 않았다. 순전히 자신의 직관 그리고 최고의 전문가들을 활용하여 혁신적인 제품들을 창안했다. 사람들은 자신이 원하는 것인지 알지 못한다고 생각했기 때문이다.


디지털 경제 이전에는 필요가 발명의 어머니였다. 사람들이 원하는 것을 알아내고 그것을 해결하기 위해서 새로운 기술이 등장했다. 디지털 경제 시대에는 기술은 더 이상 필요에 의해서 발전하지 않는다. 기술이 스스로 진화한다. 새로운 제품은 새로운 기술에 의해서 탄생한다. 사람들의 필요가 아니라 진화된 기술이 제품 혁신을 촉진한다. 제품과 서비스의 기획 패러다임이 바뀌고 있는 것이다.

사용자가 말하는 것과 실제로 원하게 되는 것이 전혀 다를 수 있는 세상이 되었다. 필요나 요구가 없는 상황에서, 제품 및 서비스를 혁신해야 하는 것이다. 이러한 상황에서 판단 기준은 무엇일까? 새로운 시도를 해야할 지 말아야 할 지를 어떻게 판단할 수 있을까? A/B 테스트가 좋은 방법이 될 수 있다.

A/B 테스트란?

A/B 테스트는 서비스 개발에서 사용되는 사용성 테스트 기법 중 하나이다. 개발 단계에서 2가지 이상(3가지 이상의 버전을 만드는 경우는 '다변량 테스트'에 해당하는데 보통 'A/B 테스트'로 통용해서 사용한다)의 버전을 만들고 이에 대한 실제 사용자의 반응을 확인하여, 더 나은 대안의 선택이 가능하도록 도와준다.


구체적으로 웹 또는 앱의 방문자에게 A버전과 B버전을 무작위로 보여주고, 측정 지표를 바탕으로 더 효용이 높은 버전이 무엇인지 정량적으로 평가한다. 이 때, 사용자의 행동에 영향을 주는 하나의 변수를 제외한 나머지 화면 구성은 동일하다. A/B 테스트는 이미 웹 또는 앱 기반 비즈니스에서 대중적으로 활용되고 있는 방법 중 하나로 넷플릭스, 아마존, 구글 등 다수의 기업들이 새로운 기능을 평가하고 디자인을 개선하여 인터페이스를 최적화하기 위해 사용하고 있다.

2가지 대안을 비교할 때 사용하는 지표는 다양하다. 목적에 맞는 평가 지표를 설정했을 때 A/B 테스트로 최적의 의사결정을 내릴 수 있다.
 

투이톡_ab테스트_2.jpg
[표 1] A/B 테스트 수행 평가 지표 예시

어떤 상황에서 효과가 있을 것인가?

A/B 테스트는 복수의 대안 중 어떤 선택이 나을지 판단이 어려운 경우, 의사결정에 도움을 얻기 위해 사용할 수 있다.

 

첫째, 새로운 서비스를 기존 서비스와 비교하는데 사용할 수 있다. 새로운 서비스가 기존 서비스보다 효과가 더 큰 것으로 밝혀지면, 새로운 서비스를 도입하기로 결정한다. 
 

둘째, 두 가지 서비스 대안을 비교하는데 사용할 수 있다. 기존 서비스 개선 또는 새로운 서비스 도입 과정에서 (1안)과 (2안)이 제안된 경우이다. 두 가지 안 중에서 효과가 크게 나타나는 안을 선택하다.

지금까지는 서비스 개발 과정에서 상급 관리자의 직관에 의해 의사결정을 내리는 경우가 많았다. 하지만 A/B 테스트의 등장으로 그들의 직관이 틀릴 수 있다는 사실을 알게 되었다. 더 큰 성과를 거둘 수 있는 의사결정은 직관이 아니라 A/B 테스트가 더 잘할 수 있다.


A/B 테스트의 최대 장점은 직관이 아닌 데이터에 기반한 가설의 증명이 가능하다는 점이다.

서비스를 디자인하는 과정에는 다양한 의견이 존재한다. 이전에는 의사결정권자의 직관 혹은 사용자의 말에 의지하여 선택을 내렸고, 실질적인 효과가 없는 방향으로 서비스를 수정했다가 시간 및 비용을 낭비하는 경우가 비일비재했다. 하지만 A/B 테스트를 활용하면 정량적인 데이터를 바탕으로 평가하기 때문에 이런 위험을 피할 수 있다.


A/B 테스트를 활용하여 성과를 낸 대표적인 사례로는 넷플릭스가 있다. 사용자가 원한다고 "말하는 것"과, 그들이 "실제로" 원하는 것 사이에는 큰 차이가 존재한다. 넷플릭스는 A/B 테스트를 통해 사용자가 "실제로" 원하는 것을 식별하여 적용하였다. 결과적으로 가입률이 향상되었다.

 

투이톡_ab테스트_3.jpg
[그림 1] 넷플릭스의 A/B 테스트 예시


A/B 테스트 적용 시 주의할 점

고객의 고정 관념과 관리자의 편견 등을 극복할 수 있다는 점에서 A/B 테스트는 점점 더 주목을 받고 있다. 디지털 기술이 제품, 서비스, 프로세스 등을 혁신하는 상황에서는 더욱 유효한 방법이다. 하지만, A/B 테스트를 적용할 때 함정이 있다.

단기 성과에 집중
정량적인 수치를 활용하여 대안을 평가하는 A/B 테스트는 단기적인 개선에만 집중한다는 한계가 있다. 새로운 제품 또는 서비스의 확산에 상당한 기간이 필요한 경우에는 나쁜 평가를 받게 되어 기회를 상실할 수 있다.

원인 분석의 어려움
A와 B 중 어느 버전이 더 가입률이 높은지는 알 수 있어도, "왜" 가입률이 더 높은지는 파악이 어렵다. 때문에 A/B 테스트의 수행 시 FGI(Focus Group Interview) 등 고객 심층 인터뷰를 함께 진행하여 현상의 근본 원인을 발견하려는 노력을 병행하는 것이 좋다.


데이터 해석의 왜곡
A/B 테스트를 통해 나오는 수치는 객관적인 데이터지만, 데이터를 활용한 의사결정을 내리는 것은 인간이기 때문에 데이터 해석에 왜곡이 있을 수 있다. 그러므로 A/B 테스트를 활용하려는 사람은 본인의 가설을 증명하는 방향으로만 데이터를 보고 있는 것은 아닌지 경계해야한다.

A/B 테스트와 애자일 방식
 

   투이톡_ab테스트_4.jpg

고객이 원하는 것이 무엇인지를 말해주는 것은 고객이 해야할 일이 아니다. 어떤 제품과 서비스로 고객의 마음을 사로잡을 수 있을지는 공급자가 담당해야 할 일이다. 폭포수 방식(Waterfall Approach)은 고객의 니즈와 요구사항에서 출발한다. 고객의 니즈와 요구사항이 없는 상황에서는 애자일 방식(Agile Approach)이 유효하다.


한 번에 모든 것을 기획하고 개발하는 폭포수 방식에서는 서비스 완성 후 뒤늦게 방향성이 잘못되었음을 알아채도 이미 완료된 서비스를 수정하기 어렵다. 반면 애자일 방식은 기획-개발-피드백-기획의 과정을 반복하여 시행착오에서 배운다. 폭포수 방식에서 실패는 좌절이지만 애자일 방식에서 실패는 교훈이다.

애자일 방식을 적용할 때 중요한 것은 빠른 실행과 피드백이다. A/B 테스트는 빠른 피드백을 가능하게 한다. A/B 테스트를 통해 사용자가 실제로 원하는 것이 무엇인지 즉각적으로 확인하고 이를 기획 및 개발 과정에 반영함으로써, 성공하는 서비스로 수렴될 수 있다. A/B 테스트는 애자일 방식과 맥을 같이 한다.

- 끝 -

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.