虽然人工智能（AI）在改善健康结果方面前景广阔，但它也引起了人们对种族、性别和其他偏见的严重关注。我最近在几篇文章中写过人工智能和歧视出版 条款.

这种担心不仅仅是假设。举一个例子流行算法用于将慢性病患者转介到高风险护理管理项目中，白人患者比黑人患者更受青睐。它用过去的医疗支出来代替医疗需求。因此，它错误地将低支出解释为表明个人没有严重疾病。算法设计者忽略了这样一个事实，即非裔美国人经常面临阻碍他们获得医疗服务或有足够的资金用于医疗需求的障碍。

AI偏见的原因

首先，算法的设计可能很糟糕，比如用过去的支出来代替疾病严重程度的算法。其次，用于训练算法工作的训练数据可能存在缺陷

为了阐明训练数据是如何运作的，假设有一种算法是用来检测哪些乳腺肿瘤是癌变的。设计师向算法展示了大量的肿瘤图像，并对恶性肿瘤进行了标记。然后，当看到新的图像时，该算法学习自己区分良性肿瘤和癌性肿瘤。

现在假设有一种算法可以识别可能患上特定疾病的患者，如糖尿病或高血压。如果训练数据来自主要为富人和白人提供服务的医疗中心，则该算法可以对这些人群进行准确预测。然而，对于受困难的社会经济环境驱动的具有不同风险因素的更加多样化的社区来说，这可能效果不佳。它在训练过程中从未遇到过这样的病人。

此外，训练数据中可能存在一些偏差。医生经常学习根据男性更常见的症状来检测心绞痛和心脏病发作。因此，女性心脏病诊断不足。如果设计用于帮助医生检测心脏病的算法根据可用的诊断数据进行训练，则可能导致延续诊断不足的问题.

赛跑调整算法

还有一些算法根据比赛进行调整例如，肾脏捐赠者风险指数表明非裔美国人有较高的移植失败风险，因此将他们指定为不太合适的捐赠者。另一种算法评估了先前剖腹产的女性阴道分娩的潜在成功率。它预测非洲裔美国人和西班牙裔女性成功的可能性较低，因此她们更有可能再次接受手术。

这些算法的开发人员相信，它们是由可靠的数据证明的。然而，消旋校正算法受到了严厉批评。问题是，对“种族”的所有成员进行概括是不合适的。种族是一种没有固定含义的社会结构。 

在医学背景下，种族差异往往是基因构成的差异。虽然非洲裔美国人中可能普遍存在一种特殊的基因异常，但没有一种基因异常只存在于一个种族。 专家建议特定的遗传变异（而非肤色）会增加移植失败的风险。因此，基因突变应取代肾供体结石中的种族。同样，社会经济因素例如支持系统和工作场所的灵活性可能会影响剖宫产女性分娩的成功。因此，算法应该考虑健康的社会决定因素，而不是种族。 

最后，近7%的美国人口是混血儿。如果一个算法指示医生区别对待白人和黑人，他们应该如何对待多种族患者？

建议

医学人工智能开发人员应在其工作的所有阶段（设计、实施和验证）努力消除偏见和歧视。更具体地说，他们应该：

• 确保培训数据充分代表所有相关人群；
• 从各种利益相关者（包括患者、医生、健康信息学家、数据科学家和歧视问题专家）那里收集关于偏见问题的意见；
• 如果可能，在与训练数据池不同的具有代表性的大量患者样本上测试算法的安全性、有效性和公平性；
• 使用软件工程最佳实践，特别注意公平性；
• 避免种族调整，关注更准确的变量，如基因构成或社会经济因素。

同样，人工智能用户应该对偏见问题保持敏感。他们应该评估自己的人工智能使用情况，并确定任何现有的公平和歧视问题。然后，他们必须要求修复或停止以任何可能加剧健康差距和使不公平永久化的方式使用该算法。

查看本系列中的其他文章：多样性、公平和包容性：为什么选择威利？为什么要研究出版？