1.T检验
最水,说TC组是符合同一分布的,但是方差大的话,其实TC lift的误差就很大。
2.WMAPE
不做实验情况下最严格,比如TC在投放前完全重合,那就说明在未来一段时间也应该是重合的。所以效果毋庸置疑。
3.AUUC
这个不是来衡量TC相似度的,适用于一切没有TC的归因,比如沙普利值的计算,或者是MTA模型等。
沙普利值:https://towardsdatascience.com/making-sense-of-shapley-values-dc67a8e4c5e8
这里补充下沙普利值的公平性原则:
(1)对称公理:参与人因合作而分配得到的利益与他所赋予的记号无关。
设λ是N={1,2,3…n}的一个排列,即N中的一个 一对一映射,如λi是i的对应,对企业联盟博弈V有:(λV)S=V(λS)。
(2)有效公理:成员对于企业联盟没有做出贡献就不能获得报酬。
如果对于所有包含i的子集S都有V(S\i)=V(S),则φ1(V)=0,且φi(V)中i从1到n的和等于V(N)。
(3)加法公理:局中人同时进行两项合作时,总分配是两项的和。
对于定义在N中的任意两个特征函数U和V,则φ(U+V)=φ(U)+φ(V)。
ref:弹性模型的评测指标AUUC - 知乎
4.AB实验
属于终极绝招,不知道效果,随机分流试一下,绝对公平可信。