이 문서는 Google Cloud Translation API를 사용해 자동 번역되었습니다.
어떤 문서는 원문을 읽는게 나을 수도 있습니다.
A/B 테스트는 두 개 이상의 제품 변형을 무작위로 사용자에게 보여주고 통계 분석을 사용하여 어떤 변형이 더 나은지 결정하는 실험 방법입니다.
이 기술은 웹사이트 카피에서 제품 기능에 이르기까지 무엇이든 테스트하는 데 사용할 수 있으며 사용자 경험을 최적화하려는 모든 회사에 유용한 도구입니다.
A/B 테스트는 모든 사용자 경험 최적화 전략의 중요한 부분입니다. 제품의 다양한 변형을 테스트함으로써 확실한 데이터를 기반으로 어떤 변경을 수행할지 정보에 입각한 결정을 내릴 수 있습니다.
A/B 테스트는 측정할 수 있는 모든 것을 테스트하는 데 사용할 수 있습니다. 테스트할 일반적인 사항은 다음과 같습니다.
A/B 테스트 설정에는 몇 가지 주요 단계가 있습니다.
이러한 각 단계에 대해 자세히 살펴보겠습니다.
A/B 테스트를 시작하기 전에 테스트를 통해 달성하려는 것을 정의해야 합니다. 이를 통해 추적할 올바른 메트릭을 선택하고 테스트의 성공 여부를 확인할 수 있습니다.
테스트할 목표의 몇 가지 예는 다음과 같습니다.
목표를 정의한 후에는 추적할 메트릭을 선택해야 합니다. 이 메트릭은 목표와 직접적으로 관련되어야 합니다. 예를 들어, 귀하의 목표가 가입 수를 늘리는 것이라면 메트릭은 가입 수일 수 있습니다.
메트릭을 선택할 때 염두에 두어야 할 몇 가지 사항이 있습니다.
이제 목표를 정의하고 지표를 선택했으므로 테스트를 설정할 준비가 되었습니다. 다음과 같은 몇 가지 작업을 수행해야 합니다.
A/B 테스트에서는 컨트롤(제품의 원래 버전)과 처리(제품의 새 버전)가 있어야 합니다. 예를 들어 웹사이트에서 다양한 클릭 유도문안을 테스트하는 경우 컨트롤은 원래 클릭 유도문안이 되고 처리는 새로운 클릭 유도문안이 됩니다.
샘플 크기는 치료를 보여줄 사용자 수입니다. 이 수치는 다음과 같은 몇 가지 요인에 따라 달라집니다.
샘플 크기 계산기를 사용하여 테스트에 적합한 샘플 크기를 결정할 수 있습니다.
테스트 기간은 테스트를 실행할 시간입니다. 이는 다음과 같은 몇 가지 요인에 따라 달라집니다.
일반적인 경험 법칙은 최소 2주 동안 테스트를 실행하는 것입니다.
테스트를 설정했으므로 이제 실행할 차례입니다. 테스트가 성공적인지 확인하기 위해 수행해야 할 몇 가지 사항이 있습니다.
A/B 테스트를 실행하는 데 사용할 수 있는 몇 가지 플랫폼이 있습니다. 인기 있는 옵션은 다음과 같습니다.
플랫폼을 선택했으면 테스트를 구현해야 합니다. 여기에는 웹 사이트나 애플리케이션에 일부 코드를 추가하는 작업이 포함됩니다.
Google 최적화 도구를 사용하는 경우 다음 코드를 사용하여 테스트를 구현할 수 있습니다.
<!-- Google Optimize Container -->
<script>
(function(i,s,o,g,r,a,m){i['GoogleAnalyticsObject']=r;i[r]=i[r]||function(){
(i[r].q=i[r].q||[]).push(arguments)},i[r].l=1*new Date();a=s.createElement(o),
m=s.getElementsByTagName(o)[0];a.async=1;a.src=g;m.parentNode.insertBefore(a,m)
})(window,document,'script','//www.google-analytics.com/analytics.js','ga');
ga('create', 'UA-XXXXXXXX-X', 'auto');
ga('require', 'GTM-XXXXXXX');
ga('send', 'pageview');
</script>
<!-- End Google Optimize Container -->
Optimizely를 사용하는 경우 다음 코드를 사용하여 테스트를 구현할 수 있습니다.
<!-- Optimizely Container -->
<script src="https://cdn.optimizely.com/js/XXXXXXXXXX.js"></script>
<!-- End Optimizely Container -->
Visual Website Optimizer를 사용하는 경우 다음 코드를 사용하여 테스트를 구현할 수 있습니다.
<!-- Visual Website Optimizer Container -->
<script type='text/javascript'>
var _vis_opt_account_id = XXXXXXXXX;
var _vis_opt_protocol = (('https:' == document.location.protocol) ? 'https://' : 'http://');
document.write('<s' + 'cript src="' + _vis_opt_protocol +
'dev.visualwebsiteoptimizer.com/deploy/js_visitor_settings.php?v=1&a='+_vis_opt_account_id+'&url='
+document.URL+'&random='+Math.random()+'" type="text/javascript">' + '<\/s' + 'cript>');
</script>
<!-- End Visual Website Optimizer Container -->
테스트가 실행되면 모니터링하여 모든 것이 예상대로 작동하는지 확인해야 합니다. 여기에는 테스트 플랫폼 및 테스트 결과 모니터링이 포함됩니다.
테스트가 완료되면 결과를 분석할 차례입니다. 여기에는 측정항목 데이터를 살펴보고 어떤 변형이 더 나은 성과를 내는지 결정하는 작업이 포함됩니다.
결과를 분석할 때 염두에 두어야 할 몇 가지 사항이 있습니다.
결과가 통계적으로 유의하지 않은 경우 변형 간의 차이가 통계적으로 유의하지 않음을 의미합니다. 이는 샘플 크기가 작거나 전환율이 낮은 등 여러 요인 때문일 수 있습니다.
결과가 신뢰할 수 없다면 결과가 정확하지 않을 가능성이 있음을 의미합니다. 이는 사용자 행동의 변화 또는 테스트 플랫폼의 변화를 비롯한 여러 요인 때문일 수 있습니다.
결과가 실행 가능하지 않다면 확실한 승자가 없고 결과에 따라 결정을 내릴 수 없음을 의미합니다. 변형 간의 작은 차이나 낮은 전환율 등 여러 요인이 원인일 수 있습니다.
A/B 테스트는 사용자 경험을 최적화하려는 회사에 유용한 도구입니다. 제품의 다양한 변형을 테스트함으로써 확실한 데이터를 기반으로 어떤 변경을 수행할지 정보에 입각한 결정을 내릴 수 있습니다.
A/B 테스트를 설정할 때 수행해야 할 몇 가지 작업이 있습니다.
이 단계를 따르면 성공적인 A/B 테스트를 실행할 수 있습니다.