公司发展迅速将机器学习应用于商业决策。不断推出新的程序，设置复杂的算法来处理大型、频繁刷新的数据集。这一进程的速度证明了该技术的吸引力，但缺乏经验会带来真正的风险。算法偏差是最大的风险之一，因为它损害了机器学习的目的。这种经常被忽视的缺陷可能会引发代价高昂的错误，如果不加以控制，可能会将项目和组织推向完全错误的方向。从一开始就应对这个问题的有效努力将获得丰厚回报，从而最有效地实现机器学习的真正潜力。
机器学习作为一个描述可编程模式识别的术语，在科学上已经使用了半个多世纪。这个概念甚至更古老，19世纪初由先驱数学家表达过。它有自然而然地在过去的二十年里，随着强大的计算机、互联网和大规模信息数字化的出现。在人工智能领域，机器学习越来越多地提到基于统计算法生成数据驱动见解的计算机辅助决策（参见侧栏“机器学习：实现人工智能承诺的主要方法”）。
它最明显的用途之一是用于预测建模。这有广泛而熟悉的业务应用程序，从自动化的客户推荐到信用审批流程。机器学习通过强大的计算能力放大了预测模型的威力。例如，为了通过逻辑回归创建一个有效的统计算法，缺失的变量必须用假定的数值替换（这一过程称为插补）。机器学习算法通常用于将“缺失”解释为一个可能的值，然后继续为缺失值的情况开发最佳预测。机器学习能够管理大量数据并检测其中许多更复杂的模式，通常具有卓越的预测能力。
例如，在信用评分中，长期保持贷款而没有拖欠的客户通常被确定为低风险客户。但是，如果这些客户多年来一直持有的抵押贷款得到了即将到期的大量税收优惠的支持，该怎么办？违约的激增可能即将到来，这在贷款机构的统计风险模型中是无法解释的。通过主题专家访问正确的数据和指导，预测性机器学习模型可以发现数据中的隐藏模式并纠正此类峰值。
偏见的持续性
在自动化业务流程中，机器学习算法比人类决策者更快地做出决策，而且成本很低。机器学习也有望提高决策质量，因为它声称没有人类偏见。例如，人类决策者可能倾向于对他们的个人经历给予额外的重视。这是一种称为锚定的偏见，是影响业务决策的众多偏见之一。可用性偏差是另一个问题。这是一种思维捷径（启发式），人们在面对决策时通过它做出熟悉的假设。这些假设在过去会有充分的作用，但在新的情况下可能会不合时宜。确认偏见是一种倾向，即选择支持先入为主的信念的证据，而损失转化偏见会对决策过程施加过度的保守主义。
机器学习被用于许多具有商业意义的决策中，例如银行贷款批准，以及具有个人意义的决策，例如医院急诊室的诊断决策。这个消除有害偏见的好处无论是财务、医疗还是其他形式的决策，都是显而易见且非常可取的。
一些机器学习旨在通过其人工神经网络模拟人脑的机制，例如深度学习。如果偏见影响人类智能，那么人工智能呢？机器有偏差吗？当然，出于一些基本原因，答案是肯定的。首先，机器学习算法容易融合人类创造者的偏见。例如，算法可以将销售人员或贷款人员创建的有偏见的参数形式化。当机器学习预测行为结果时，对历史标准的必要依赖将强化过去的偏见，包括稳定性偏见。这是一种通过创新产生的替代效应而低估重大变革可能性的趋势。这种偏见的严重性可能会被机器学习算法放大，这些算法必须假设事情会或多或少地像以前一样继续下去，以便操作。另一个产生偏差的基本因素是不完整的数据。每一种机器学习算法都完全在用于校准它的数据所定义的世界内运行。数据集的局限性会严重影响结果。
预测行为：“赢家通吃”
机器学习可以延续甚至放大行为偏见。通过设计，一个基于用户偏好过滤新闻的社交媒体网站强化了读者的自然确认偏见。该网站甚至可能会系统地防止观点受到矛盾证据的质疑。自我实现的预言是算法的相关副产品。财务状况良好的公司可能会与银行的评分算法相冲突，并发现自己无法获得营运资金。如果他们无法用事实逻辑动摇信贷官员，流动性紧缩可能会摧毁整个行业。这些例子揭示了某种“赢家通吃”的结果，它影响了那些旨在复制人类决策的机器学习算法。
数据限制
机器学习可以揭示复杂数据集中有价值的见解，但数据异常和错误会导致算法误入歧途。正如童年创伤事故会导致成年人持续的行为扭曲一样，非代表性事件也会导致机器学习算法偏离轨道。例如，如果一系列异常天气事件或欺诈行为引发违约率飙升，尽管没有永久性的结构性原因，但信用记分卡可能会将一个地区标记为“高风险”。在这种情况下，除非采取纠正措施，否则不充分的算法将使偏差永久化。
试图通过统计决策过程克服偏见的公司可能会发现，监督其机器学习算法的数据科学家也会受到这些偏见的影响。例如，稳定性偏差可能会导致数据科学家更喜欢人类决策者用来预测结果的相同数据。同时，成本和时间压力可能会阻止他们收集其他类型的数据，而这些数据是预测结果的真正驱动因素。
稳定性偏差问题
稳定性偏差（不确定环境中的惯性倾向）实际上是机器学习算法的一个重要问题。预测模型对历史数据中检测到的模式进行操作。如果同样的模式不复存在，那么这个模型将类似于一个古老的铁路时刻表——对历史学家来说很有价值，但对于此时此地的旅行来说就没有用处了。令人沮丧的是，要形成机器学习算法来识别数据中不存在的模式是非常困难的，即使是人类分析师知道在某些时候可能会出现的模式。为了弥合现有证据和不言而喻的现实之间的差距，可以创建合成数据点。然而，由于机器学习算法试图在非常详细的级别捕获模式，因此必须极其小心地构建每个合成数据点的每个属性。
2007年，一位暗示信用卡违约和房价有关联的经济学家无法建立一个显示这种关系的预测模型，因为它尚未出现在数据中。只有当金融危机袭来，房价开始下跌时，这种关系才被突如其来地揭示出来。如果允许某些数据限制来控制建模选择，则可能会导致算法存在严重缺陷。模型将无法识别明显真实但意外的更改。金融危机之前设计的一些美国抵押贷款模型在数学上无法接受房价的负面变化。直到年出现负利率在现实世界中，它们在统计上没有被识别，世界上没有任何机器学习算法能够预测它们的出现。
解决机器学习算法中的偏差
如前所述中的文章麦肯锡风险研究，公司可以采取措施消除偏见或防止其对人类决策的破坏性影响。类似的对策可以防止算法偏差。三个过滤器至关重要。
首先，机器学习算法的用户需要了解算法的缺点，避免问那些答案会因算法偏差而无效的问题。使用机器学习模型更像是驾驶汽车而不是乘坐电梯。要从A点到达B点，用户不能简单地按下按钮；他们必须首先学习操作程序、道路规则和安全实践。
其次，开发算法的数据科学家必须以最小化偏差的方式塑造数据样本。这一步是这个过程中重要而复杂的一部分，值得比这篇短文更深入的考虑。目前，让我们注意到，可用的历史数据往往不足以实现这一目的，必须通过受控实验生成新的、无偏见的数据。
最后，执行官应该知道何时使用和何时不使用机器学习算法。他们必须了解权衡中所涉及的真正价值：算法提供了速度和便利，而人工构建的模型，如决策树或逻辑回归，或就此而言，甚至是人类决策，都是具有更大灵活性和透明度的方法。
你的黑盒子里有什么？
从用户的角度来看，机器学习算法是黑箱。它们为那些对其内部工作知之甚少或一无所知的人提供了快速而简单的解决方案。它们应该谨慎使用，但要知道行使谨慎性需要付出努力。寻求避免有害应用算法的商业用户有点像寻求健康食品的消费者。健康意识强的消费者必须研究有关营养的文献并阅读标签，以避免摄入过多热量、有害添加剂或危险的过敏原。高管和从业者同样必须研究其业务核心的算法，以及他们设计要解决的问题。
然后，他们将能够理解有关算法的监控报告，提出正确的问题，并质疑假设。
例如，在信用评分中，内置的稳定性偏见使机器学习算法无法解释申请人的某些快速行为变化。如果申请人认识到模型惩罚的模式，就会出现这种情况。众所周知，销售人员会观察算法中嵌入的决策模式，然后通过逆向工程来指导申请人的行为，从而最大限度地提高批准的可能性。
在这种情况下，作为风险预测因素经常出现的一个主题是贷款期限。公认，风险较高的客户通常更喜欢较长的贷款期限潜在还款困难。相比之下，许多低风险客户的目标是通过选择较短的期限来最小化利息支出。机器学习算法会跳上这样的模式，以更高的风险估计惩罚更长时间的应用程序。很快，销售人员会建议有风险的申请人选择尽可能短的期限，从而将他们推到信用评分的批准范围内。由于每月分期付款数额极高（由于期限较短），这些申请人中的许多最终将违约，导致信贷损失激增。
因此，敏锐的观测者可以从黑盒中提取对算法预测影响最大的变量。业务用户应该认识到，在这种情况下，贷款期限是一个有影响力的预测因素。他们可以从算法中删除变量，也可以设置保护措施来防止行为变化。如果业务用户无法识别这些变化，银行可以通过按贷款期限监控每月申请的分布情况来间接识别这些变化。这里的挑战是确定明显的转变是由于申请人故意改变行为还是其他因素，例如经济条件的变化或银行的促销策略。因此，在某种程度上，良好的商业判断是不可或缺的。
从开发样本中挤出偏差
测试可以确保过去人类决策者不需要的偏见，例如性别偏见，不会被无意中融入机器学习算法。这里的挑战在于调整数据，使偏差消失。
关于机器学习最危险的误解之一是它不需要持续的人工干预。商业用户最好查看机器学习算法的应用，例如花园的创建和管理。需要大量的人力监督。拥有深厚机器学习知识和良好商业判断力的专家就像经验丰富的园丁，精心培育植物，以鼓励其有机生长。数据科学家知道，在机器学习中，只有我们提出正确的问题，答案才会有用。
在对抗有害偏见的过程中，数据科学家试图在最重要的地方加强机器学习算法。训练机器学习算法有点像锻炼肌肉。健身教练会煞费苦心地教他们的客户每种锻炼的正确形式，以便只锻炼目标肌肉。例如，如果髋部进行的运动是为了锻炼二头肌，那么锻炼的效果就会大大降低。通过使用分层抽样和优化的观测权重，数据科学家确保算法对于预测误差对业务影响最大的决策最有效。即使使用高级机器学习算法，如boosting（一种旨在减少算法偏差的算法），这也无法自动完成。高级算法可以纠正统计上定义的错误概念，但它们无法区分对业务影响较大的错误和重要性可忽略的错误。数据科学家可以部署许多统计技术来保护算法免受偏差影响的另一个例子是对缺失值的仔细分析。通过确定这些值是否有系统地丢失，数据科学家引入了“事后诸葛亮偏见”。这种利用偏见来对抗偏见的方法使算法能够超越其数据确定的限制，找到正确的答案。然后，数据科学家可以决定是否以及如何处理缺失的值，或者是否需要调整样本结构。
决定何时使用机器学习算法
考虑在业务问题上使用算法的组织应该根据成本效益权衡做出明确的选择。机器学习算法将快速方便，但更熟悉的是，传统决策过程将更容易为特定目的构建，也将更透明。传统方法包括人工决策或手工模型，如决策树或逻辑回归模型，这是几十年来商业和公共部门用于分配结果概率的分析工具。最好的数据科学家甚至可以使用机器学习算法来增强手工模型的威力。他们已经能够建立先进的逻辑回归模型，其预测能力接近机器学习算法的预测能力。
在决定使用机器学习算法时，可以考虑三个问题：
- 我们多久需要解决方案？时间因素通常是解决业务问题的首要因素。最佳统计模型可能会在完成时过时。当商业环境快速变化时，一夜之间开发出来的机器学习算法可能会远远超过几个月前开发出来的优秀传统模型。出于这个原因，机器学习算法是打击欺诈的首选算法。诈骗者通常会迅速采取行动，绕过他们遇到的最新检测机制。为了击败欺诈，组织需要部署算法，在欺诈者改变策略时立即进行调整。
- 我们有什么见解？手工模型的优势取决于数据科学家嵌入其中的业务洞察力。如果一个组织没有洞察力，那么解决问题就必须以数据为指导。在这一点上，机器学习算法因其速度和方便性而可能更受欢迎。然而，在这种情况下，组织与其盲目相信算法，不如聘请顾问来帮助开发增值业务洞察力。
- 哪些问题值得解决？机器学习的一个承诺是，它可以解决那些曾经未被识别或认为用手工模型解决成本过高的问题。迄今为止，对这些问题的决策都是随机或无意识的。在重新考虑这些问题时，组织应该确定那些对业务有重大底线影响的问题，然后指派他们最好的数据科学家来解决这些问题。
除了这些考虑因素外，实施大规模机器学习项目的公司还应进行适当的组织和文化变革以支持这些项目。项目范围内的每个人都应该理解并信任机器学习模型，只有这样才能实现最大的影响。
实施：标准、验证、知识
企业将如何实施这些建议？机器学习算法的实际应用和消除应该由整个组织中有意识且最终系统化的过程来管理。虽然没有那么严格和正式，但该方法与成熟的模型开发和验证过程大型机构借此获得对模型扩散和风险的战略控制。三个构建块对实施至关重要：
- 基于业务的机器学习批准标准。应该为模型文档开发一个模板，使接受建模请求的过程标准化。它应该包括业务上下文，并向请求者提示有关业务影响、数据和成本效益权衡的具体问题。该过程应要求用户积极参与，以找到最合适的业务问题解决方案（请注意，相比之下，被动检查列表或指南往往被忽略）。应定义模型的关键参数，包括对原始数据输入、处理后的样本和建模输出运行的标准分析集。该模型应该在与业务用户的讨论中受到质疑。
- 机器学习算法的专业验证。验证和批准机器学习算法需要一个明确的过程。根据行业和业务环境，特别是错误的经济影响，可能不必像内部验证团队和监管机构对银行风险模型进行正式验证那样严格。然而，该过程应为新模型建立验证标准和持续监测计划。这些标准应该考虑到机器学习模型的特性，例如每当捕捉到新数据时，算法就会自动更新。这是大多数银行仍需制定适当验证和监测标准的领域。例如，如果每周更新算法，则验证例程必须在数小时和数天内完成，而不是在数周和数月内完成。然而，制定控制措施，提醒用户注意新数据中可能出现的突然或缓慢偏差，这一点也极为重要。
- 持续知识发展的文化。机构应投资开发和传播有关数据科学和商业应用的知识。应持续监控机器学习应用程序的新见解和最佳实践，以创建知识增强文化，并让人们了解使用此类应用程序的困难和成功。
创建一个有意识的、基于标准的系统来开发机器学习算法，将使领导者参与许多基于判断的决策。出于这个原因，应该部署去噪技术以最大限度地提高结果。在这种情况下，一种有效的技术是“验尸前”练习，旨在查明拟议模型的局限性，并帮助高管判断新算法中涉及的业务风险。
有时，在围绕机器学习的大肆宣传中迷失的事实是，人工智能与它模拟的真实事物一样容易产生偏见。好消息是，如果我们诚实面对偏见，偏见是可以理解和管理的。我们无法相信机器完美智能的神话。人类必须不断解决机器学习的真正局限性。对于企业来说，这意味着在监控良好的机器的帮助下，创造增量的、基于洞察力的价值。这是一种实现机器学习效果的现实算法。
