如何修正预测性人工智能的错误：业务指标

预测性人工智能提供了巨大的潜力 – 但它的记录却出奇地差。除了大型科技公司和少数其他领先企业外，大多数计划都无法部署，从未实现价值。为什么？数据专业人员没有能力向业务部门推销部署。他们通常报告的技术性能指标与业务目标不一致 – 对决策者来说毫无意义。

为了让利益相关者和数据科学家能够规划、推销和批准预测性人工智能部署，他们必须建立并最大化每个机器学习模型在利润、节约或任何关键绩效指标等业务成果方面的价值。只有通过衡量价值，项目才能真正追求价值。只有让业务和数据专业人员站在同一个以价值为导向的立场上，计划才能向前推进并部署。

为什么商业指标在人工智能项目中如此罕见

考虑到它们的重要性，为什么商业指标如此罕见？研究表明，数据科学家明白这一点，但通常不遵守：他们将商业指标排在最重要的位置，但在实践中更关注技术指标。为什么他们通常会跳过这样一个关键步骤 – 计算潜在的商业价值 – 这很大程度上导致了他们自己项目的失败？

这是个非常好的问题。

行业陷入这种困境不仅仅是因为心理和文化原因 – 尽管这些是促成因素。毕竟，谈论金钱是粗俗且过于直白的。数据专业人员感到有必要坚持使用能展示和证明他们专业知识的传统技术指标。这不仅仅是因为这让他们听起来更聪明 – 行话是任何领域用来捍卫自身存在和薪资的常见方式。还有一种常见但误导性的观念，认为非定量分析人员无法真正理解预测性能的定量报告，只会被旨在用直白商业语言表达的报告误导。

但如果这些是唯一的原因，考虑到机器学习模型成功部署时带来的巨大商业胜利，"文化惯性"早就应该在几年前就被克服了。

可信度挑战：商业假设

相反，最大的原因是：任何商业价值预测都面临可信度问题，因为它必须基于某些假设。估计模型在部署中能获取的价值是不够的。计算仍然需要证明其可信度，因为它依赖于可能发生变化或不确定的业务因素，例如：

• 每个假阳性的金钱损失，例如当模型将合法交易标记为欺诈时。以信用卡交易为例，这可能会花费约100美元。
• 每个假阴性的金钱损失，例如当模型未能标记欺诈交易时。以信用卡交易为例，这可能会花费交易金额。
• 影响上述两种成本的因素。例如，在信用卡欺诈检测中，如果银行有欺诈保险或银行的执法活动在下游收回一些欺诈损失，则每笔未检测到的欺诈交易的成本可能会减少。在这种情况下，每个假阴性的成本可能只有交易规模的80%或90%。在估计模型部署价值时，这个百分比有一定的灵活空间。
• 决策边界，即要针对的案例百分比。例如，应该阻止模型认为最有可能是欺诈的前1.5%的交易，还是前2.5%？这个百分比是决策边界（进而决定决策阈值）。尽管这个设置往往受到很少关注，但它对项目价值的影响往往比对模型或数据的改进更大。其设置是由业务利益相关者驱动的业务决策，代表了一个基本原则，精确定义了模型在部署中的使用方式。通过调整这个旋钮，业务可以在模型的主要底线/货币价值与假阳性和假阴性数量之间取得平衡，以及其他关键绩效指标。

尽管存在不确定性，仍建立预测的可信度

下一步是做出一个存在性决定：你是完全避免预测机器学习价值的商业价值？这将防止打开一个麻烦的局面。或者你认识到机器学习估值是一个必须解决的挑战，考虑到计算机器学习部署潜在收益的迫切需求，以实现它？如果这还不明显，我的选择是后者。

要解决这个可信度问题并建立信任，必须考虑不确定性的影响。尝试不确定性范围极端端点的不同值。以这种方式与数据和报告互动。找出不确定性的重要程度，以及是否必须以某种方式缩小它，以便为部署建立明确的案例。只有对这些因素造成的差异有洞察力和直觉，你的项目才能建立对其潜在商业价值的可信预测 – 从而可靠地实现部署。