我们正在衡量电子商务网站上的转化率(购买的访问者的百分比)。该测试适用于符合特定标准的一部分访问者(例如来自某个国家/地区的人)。
该部分的人分为两组。他们中的一部分人看到横幅,而其他人则没有(对照组)。通常对照组是30%的访客。测试在向该段中的所有用户显示横幅一段时间后开始,因此暴露人员的数据比对照组的数据延伸得更长。
因此,在给定时间,例如,我们有 X 人曝光,其中 Xb 人转换了;同样对于没有暴露的 Y 人,其中 Yb 人皈依了。Y 和 Yb 远小于 X 和 Xb。X 的转化率为 Xb/X,Y 的转化率为 Yb/Y。
我的第一个问题是如何确定统计有效性。
我们用卡方检验来做,得到的结果与这个在线计算器的结果相似(实现类似于这里的表1 )。但是,有时看起来购买数量非常少,但卡方检验表明其有效 (>95%)。
这是一个现实生活中的例子:
X=189 Xb=1 Y=93 Yb=3
Conversion X= 0.5% Conversion Y=3.2%
Statistical confidence (chi-square based) 92.8%
尽管置信度低于 95%,但对于确定其置信度来说似乎太接近了,而 X 只有 1 次转换。
我的第二个问题是:是否还需要最少的转换次数才能使置信度有效?如果是这样,我们如何计算它?
谢谢!