当前我在做广告系统的评估系统里遇到的问题。
比如我们要评估两个不同策略的效果对比,需要在在线的A/B test, 假如:
A 曝光1,000,000次, 点击1,000次, 消耗 1000元。
B 曝光1,000,000次, 点击1,100次, 消耗 1200元。
点击率服从伯努利分布,
比如实验A的点击率抽样分布有: P = 0.001, s = sqrt(p*(1-p)/1000000);
那对于千次曝光的消耗数据有: mean = 1000 * 1000 / 1000000 = 1元,但这个千次曝光消耗的标准差如何估计会比较靠谱呢?假定每次点击的消耗差不多。