本文已使用 Google Cloud Translation API 自动翻译。
某些文档最好以原文阅读。
A/B 测试是一种实验方法,其中随机向用户展示产品的两个或多个变体,并使用统计分析来确定哪个变体表现更好。
该技术可用于测试从网站副本到产品功能的任何内容,对于任何想要优化其用户体验的公司来说都是一个有价值的工具。
A/B 测试是任何用户体验优化策略的重要组成部分。通过测试产品的不同变体,您可以根据硬数据做出明智的决定,决定要进行哪些更改。
A/B 测试可用于测试任何可测量的内容。常见的测试内容包括:
设置 A/B 测试有几个关键步骤:
让我们更详细地了解每个步骤。
在开始 A/B 测试之前,您需要定义要通过测试实现的目标。这将帮助您选择正确的指标来跟踪和确定您的测试是否成功。
您可能想要测试的一些目标示例包括:
定义目标后,您需要选择要跟踪的指标。该指标应与您的目标直接相关。例如,如果您的目标是增加注册量,那么您的指标可以是注册量。
选择指标时需要注意以下几点:
现在您已经定义了您的目标并选择了您的指标,您已经准备好设置您的测试。您需要做几件事:
在 A/B 测试中,您需要有一个控制(您产品的原始版本)和一个处理(您产品的新版本)。例如,如果您在网站上测试不同的号召性用语,则控件将是原始号召性用语,而处理将是新的号召性用语。
您的样本量是您将向其展示治疗的用户数量。这个数字将取决于几个因素,包括:
您可以使用样本量计算器来确定适合您测试的样本量。
您的测试持续时间是您将运行测试的时间量。这将取决于几个因素,包括:
一般的经验法则是至少运行两周的测试。
现在您已经设置了测试,是时候运行它了。您需要做几件事来确保测试成功:
您可以使用几种不同的平台来运行 A/B 测试。一些受欢迎的选项包括:
选择平台后,您需要实施测试。这将涉及向您的网站或应用程序添加一些代码。
如果您使用的是 Google 优化工具,则可以使用以下代码来实施您的测试:
<!-- Google Optimize Container -->
<script>
(function(i,s,o,g,r,a,m){i['GoogleAnalyticsObject']=r;i[r]=i[r]||function(){
(i[r].q=i[r].q||[]).push(arguments)},i[r].l=1*new Date();a=s.createElement(o),
m=s.getElementsByTagName(o)[0];a.async=1;a.src=g;m.parentNode.insertBefore(a,m)
})(window,document,'script','//www.google-analytics.com/analytics.js','ga');
ga('create', 'UA-XXXXXXXX-X', 'auto');
ga('require', 'GTM-XXXXXXX');
ga('send', 'pageview');
</script>
<!-- End Google Optimize Container -->
如果您使用 Optimizely,您可以使用以下代码来实施您的测试:
<!-- Optimizely Container -->
<script src="https://cdn.optimizely.com/js/XXXXXXXXXX.js"></script>
<!-- End Optimizely Container -->
如果您使用的是 Visual Website Optimizer,则可以使用以下代码来实施您的测试:
<!-- Visual Website Optimizer Container -->
<script type='text/javascript'>
var _vis_opt_account_id = XXXXXXXXX;
var _vis_opt_protocol = (('https:' == document.location.protocol) ? 'https://' : 'http://');
document.write('<s' + 'cript src="' + _vis_opt_protocol +
'dev.visualwebsiteoptimizer.com/deploy/js_visitor_settings.php?v=1&a='+_vis_opt_account_id+'&url='
+document.URL+'&random='+Math.random()+'" type="text/javascript">' + '<\/s' + 'cript>');
</script>
<!-- End Visual Website Optimizer Container -->
测试运行后,您需要对其进行监控以确保一切都按预期工作。这包括监控您的测试平台和测试结果。
测试完成后,就该分析结果了。这将涉及查看您的指标数据并确定哪个变体表现更好。
分析结果时需要注意以下几点:
如果您的结果在统计上不显着,则意味着变体之间的差异在统计上不显着。这可能是由于多种因素造成的,包括样本量小或转化率低。
如果您的结果不可靠,则意味着结果有可能不准确。这可能是由于多种因素造成的,包括用户行为的变化或测试平台的变化。
如果您的结果不可操作,则意味着没有明确的赢家,您无法根据结果做出决定。这可能是由于多种因素造成的,包括变体之间的微小差异或低转化率。
A/B 测试对于任何想要优化其用户体验的公司来说都是一个有价值的工具。通过测试产品的不同变体,您可以根据硬数据做出明智的决定,决定要进行哪些更改。
设置 A/B 测试时,您需要做一些事情:
如果您按照这些步骤操作,您将顺利进行成功的 A/B 测试。