린 스타트업 용어: A/B테스트

오늘은 A/B 테스트라는 것에 대하여 알아보도록 하겠습니다.

 

필자는 에릭 리스의 저서 <린 스타트업Lean Startup> 에서 이 개념을 처음 접했지만 비단 린 스타트업 방법론에 국한되는 프로세스가 아니라 그로스 해킹에서도 찾아볼 수 있고 쓰이는 방법론이기도 하다. 쉽게 말해 A/B 테스트란, ‘A와 B라는 방식을 모두 시험해보고 좋은 결과가 나오는 쪽을 채택하는 방법’이다.

 

***그로스 해킹 

성장하기 위해 해킹을 해서라도 목표를 달성하겠다는 의지를 담은 용어로 2010년 션 엘리스(Sean Ellis)의 블로그에서 처음 사용되었는데, ‘제품 또는 서비스의 중요한 지표를 지속적으로 파악하고 분석하여 사용자의 흐름을 최적화하는 동시에 많은 유저를 확보하는 전략적 마케팅 기법’을 의미한다고 했다. 핵심은 ‘중요한 지표를 파악, 분석, 최적화하여 많은 유저를 확보한다’는 것이다.

 

에릭 리스는 A/B 테스트를 ‘스플릿 테스트split test 실험’라고 명명하였고 그의 저서에서는 이렇게 기술하였다. 

“스플릿 테스트란 고객들에게 두 가지 다른 버전의 서비스를 동시에 제공하는 것을 말한다. 이 기술은 광고 우편 업자들이 처음 개발한 기술이다. 이 방법은 두 개 그룹에 A, B 이름을 붙인 데서 A/B 테스트라고도 부른다. 보통 스플릿 테스트는 마케팅에서 많이 쓰는 방법인데, 린 스타트업 방법론에서는 이것을 제품 개발에 활용한다. 스플릿 테스트는 두 가지 다른 버전을 개발해야 하므로 더 많은 시간과 에너지를 소비하는 것처럼 보이지만, 장기적으로 볼 때는 고객에게 필요 없는 기능을 만드는 시간을 아껴준다는 점에서 더 이익이다.”   

 

A/B 테스트에서 가장 대표적인 사례로 활용되는 것은 미국의 2012대선 오바마 기부모금 디지털팀 웹사이트다.

 

 

오바마 디지털 팀은 기금 모금의 극대화를 위해 약 20개월 동안 500회에 이르는 A/B테스트를 시행하였으며, 이 테스트를 통해 기부 전환 수를 49%, 이메일 가입 전환수를 161% 늘렸다. 미디어와 버튼을 바꿔가면서 가장 효율이 좋은 화면으로 최적화한 것에 의의가 있다.

 

여기서 주의할 점은, 디자인에 관련한 것에 대하여 고객이 어떤 디자인을 더 선호하는 지 파악하기 위하여 A/B테스트를 진행하여야 할 때 다른 기능은 다 동일하여야 한다는 점이다. 오직 디자인만이 고객의 판가름의 기준이 될 때 A/B테스트라 말할 수 있다.