为什么"准确率"不适用于提升模型(以及应该使用什么)

当涉及到提升建模时,传统上用于其他机器学习任务的性能指标可能会显得不足。

标准的机器学习算法/业务案例在训练数据上学习,在测试数据上预测目标,并将其与真实值进行比较。

然而,在提升建模中,真实值的概念变得难以捉摸,因为我们无法同时观察到个体接受处理和未接受处理的影响。

如何选择验证数据集?

用于训练和测试提升模型的数据选择取决于可用信息和特定情境。

提升模型通常用于营销活动。让我们从这个角度说明如何选择验证数据。

如果我们只有一个活动,我们可以将该活动中的客户分为训练集和验证集。

然而,如果有多个活动可用,我们可以利用一些活动来训练模型,并保留其他活动用于验证。这种策略允许模型从更广泛的场景中学习,并有可能提高其泛化能力。

如果没有这些必要组件,准确捕获提升效果将变得具有挑战性。

主要方法

评估提升模型性能有两种主要方法:累积增益和Qini。让我们来探讨它们:

累积增益:

累积增益说明了通过针对特定百分比的人群所实现的增量响应率或结果。

要计算累积增益,根据提升分数对个体进行排名,并将排序后的列表划分为一系列大小相等的十分位数或百分位数组。然后通过汇总每组中个体的结果或响应来计算累积增益。

N : 前p%客户的对照组(C)和处理组(T)的客户数量

Y : 前p%客户的对照组(C)和处理组(T)中我们选择的指标的提升总和

例如,针对20%人群的CG对应于如果我们仅处理前20% 最高分数的实例时的总增量增益。

在下面提供的例子中,我们观察到针对得分最高的前20%客户可产生0.019的累积增益。

更陡峭的曲线表示更好的模型,因为它显示正在针对更高比例具有最高预测提升的个体。

Qini系数:

Qini系数与累积增益基于相同的概念,但有一个关键区别。

计算公式:

这很好,但我们如何在不同模型之间进行选择?仅依靠这些曲线在不同模型之间进行选择可能不是最数据驱动的方法。

质量指标

有三个最有用的指标可以帮助我们,而且它们都 适用于Qini和累积增益方法。

提升曲线下面积(AUC-U):

与传统分类中的ROC曲线下面积(AUC-ROC)类似,AUC-U衡量提升模型的整体性能。它计算提升/Qini曲线下的面积,该面积代表按提升模型预测排序的个体的累积提升。

Uplift@K:

Uplift@K专注于识别具有最高预测提升的前K%人群。它衡量该选定组中真正有响应个体的比例。较高的uplift@K值表示模型在针对正确个体方面表现更好。

在下面的例子中,第一个模型的[email protected]大约为0.16,第二个模型为0.19,最佳模型的选择是显而易见的。

这个指标何时有帮助?

最大提升:

最大提升是指模型实现的最大提升值。它表示具有最高提升分数的处理组和对照组之间的差异。

结论

我们已经看到,传统的分类和回归指标可能无法充分衡量提升模型的有效性。

为了克服这一点,两种主要方法CG和Qini提供了有价值的评估指标。

持续尝试不同的变化并找到最符合您目标的指标至关重要。通过探索和完善您的方法,您可以有效地衡量提升模型的影响并优化其性能。

\n

\