统计有效性的最小样本/转换数量

机器算法验证 置信区间 卡方检验 交叉验证 验证
2022-04-01 22:08:53

我们正在衡量电子商务网站上的转化率(购买的访问者的百分比)。该测试适用于符合特定标准的一部分访问者(例如来自某个国家/地区的人)。

该部分的人分为两组。他们中的一部分人看到横幅,而其他人则没有(对照组)。通常对照组是30%的访客。测试在向该段中的所有用户显示横幅一段时间后开始,因此暴露人员的数据比对照组的数据延伸得更长。

因此,在给定时间,例如,我们有 X 人曝光,其中 Xb 人转换了;同样对于没有暴露的 Y 人,其中 Yb 人皈依了。Y 和 Yb 远小于 X 和 Xb。X 的转化率为 Xb/X,Y 的转化率为 Yb/Y。

我的第一个问题是如何确定统计有效性。

我们用卡方检验来做,得到的结果与这个在线计算器的结果相似(实现类似于这里的表1 )。但是,有时看起来购买数量非常少,但卡方检验表明其有效 (>95%)。

这是一个现实生活中的例子:

X=189 Xb=1 Y=93 Yb=3
Conversion X= 0.5% Conversion Y=3.2% 
Statistical confidence (chi-square based) 92.8%

尽管置信度低于 95%,但对于确定其置信度来说似乎太接近了,而 X 只有 1 次转换。

我的第二个问题是:是否还需要最少的转换次数才能使置信度有效?如果是这样,我们如何计算它?

谢谢!

1个回答

我无法完全回答您的问题,但您是否正在寻找这个:Power analysis - http://www.statmethods.net/stats/power.html