一个大问题是，你通常需要大量的样本才能对收集的数据有信心。统计显著性是一种计算方法，用于确定你能多大程度上确信你收到的数据是准确的，而不是随机的。样本量越大（在这种情况下，登录页面及其变体的访问者越多）意味着你可以对结果更有信心。
那么我们谈论的是什么样的数字呢？假设您最初 ceo电子邮件数据库 的着陆页目前的转化率为 2%。如果您希望该转化率提高 50%（从 2% 到 3%），您需要 2,800 次访问才能对结果有 90% 的信心。
样本大小
您可以在Optimizely 的样本量计算器中使用更多数字。
对于许多小型企业来说，2,800 次访问量意味着着陆页的流量相当于数年。需要大量数据才能确保数据准确无误。
让我们用对小型企业来说更合理的流量数字来看待这个问题。如果您的着陆页的 A 和 B 版本分别收到 100 次访问，并且版本 A 收到 2 次转化，而版本 B 收到 3 次转化，那么您只能 67% 地确定版本 B 是效果更好的页面。
统计显著性
这和抛硬币没什么区别。考虑到统计学家的目标是 90-95% 的统计显著性，你没有足够的数据来对着陆页做出明智的决定。
问题 2——瞄准局部最大值
在数学函数中，全局最大值是函数在整个范围内达到的最高值。局部最大值是函数在有限范围内达到的最高值。
全局最大值
在 A/B 测试方面，全局最大值是最佳着陆页，而局部最大值则是现有着陆页的更好版本。当您开始对标题、号召性用语或按钮颜色等细微变化进行 A/B 测试时，您会朝着着陆页的局部最大值的方向前进，但您可能会错过与现有着陆页截然不同的更好的页面。
这就像走在街上寻找吃饭的地方。你可能会走到街上最好的餐馆，但你可能不会在城里最好的餐馆吃饭。