我们可以从FDA AI监管模式中学到什么？

去年晚些时候，我们举行了一次快速审议，召集了FDA的资深专家以及AI政策辩论的主要参与者，之后，我们汇集了几个直接的见解备忘录虽然很明显，前进的道路并不是以任何单一的监管模式为基础，但对食品和药物管理局管理制药和医疗器械行业的方法进行深入研究，为考虑AI治理的前进道路提供了有益的具体基础。

我们的目标是分享深层次的可操作性收获，作为持续对话的基础。我们计划在此之后，对这些问题进行更深入、更细致的处理，并通过将于今年春天晚些时候发表的一份报告，对审议中引发的公开问题进行讨论。在此期间，我们欢迎其他思考这些问题的人参与进来并提出问题。

你可以下载这篇文章的PDF版本在这里。

概述：

这个备忘录勾勒出快速审议由一组专家组成，他们结合了数十年来研究FDA、制药行业和人工智能的经验。该小组召集了来自不同国家的前政府官员、学术研究人员、医生、律师、计算机科学家和记者，共同深入研究FDA式监管的经验教训及其在人工智能领域的潜在应用。一份关于此次讨论结果的更详细报告即将发布，但这份备忘录详细介绍了对话中出现的一系列可操作的要点。 

以下是从该对话中得出的关键见解：

“FDA for AI”是一个直截了当的比喻。一个更有成效的起点是研究FDA式的监管干预，以及它们如何针对AI供应链中的不同点:

• 关于“针对人工智能的食品和药物管理局”的讨论通常以广泛的类比方式进行，这是一种直言不讳的工具，值得进行更微妙的对话。使用供应链方法来理解人工智能的发展，为有关适当监管设计的对话提供了有用的概念清晰性，而不是寻求移植监管工具箱中包含许多不同方法的大型机构的功能。

FDA式干预可能比其他干预更适合AI供应链的某些部分：

• FDA的方法最直接地转化为应用程序或最终用例级别，在这些级别上最容易验证人工智能产品的安全性和有效性。
• 相比之下，在人工智能发展的其他阶段，如基础或“基础模型”层，尝试类似的干预，会带来潜在的棘手挑战，例如如何使用经验评估提前确定可能的危害范围。在这里，其他监管设计方法，如金融监管及其对系统性风险的处理，可能会提供更有用的推论。 
• 至少，需要明确记录基本模型，包括用于训练它们的数据，以便在应用层进行评估。
• 重要的是要明确区分人工智能应用程序的“用户”，即采购人工智能系统的实体，以及系统所使用的人或社区，即人工智能使用的“主体”。通常，“用户”和“受试者”之间存在显著的权力差异，监管干预也必须考虑到这一点。

FDA模型在优化信息生产监管设计方面提供了强有力的经验，而不仅仅是产品安全。鉴于市场参与者缺乏明确性以及人工智能开发和部署中的结构不透明性，人工智能迫切需要这样做。

• FDA推动并组织了一个完整的专业领域，增强了我们对药物的理解，并在利益相关者之间创造和传播专业知识，远远超出了孤立地理解事件。相比之下，人工智能明显不透明：绘制参与人工智能开发的公司和参与者的生态系统（因此受到任何问责制或安全干预）是一项缺乏监管干预的挑战性任务。
• 这种信息生产功能对人工智能尤其重要，在人工智能领域，解释性和解释性的困难——甚至不可能——仍然是该领域的紧迫挑战，市场中的关键参与者受到激励，缺乏透明度。随着时间的推移，FDA的干预措施通过确保公司投资于研究和文件以遵守授权，扩大了公众对药物工作原理的理解——在该机构成立之前，制药行业的大部分行业基本上是不透明的，其方式与人工智能市场具有相似性。 
• FDA模型中信息交换的许多具体方面为思考人工智能监管提供了经验教训。例如，在药品方面，重点是多个制造商之间的沟通，这需要员工、专家小组、患者和药物开发人员之间不断进行信息交流。药物开发商被授权提交FDA重新编制的内部文件，供公众使用。 
• FDA管理的不良事件数据库、临床试验和指导文件也为AI事件报告（一个活跃的研究领域）提供了关键见解。它可能会推动人工智能开发过程的转变，鼓励有益的基础设施，以提高部署的透明度和更清晰的文档。

对什么才是有效性（而非安全性）缺乏共识是监管人工智能的有力切入点。人工智能总是有潜在的危害；因此，监管问题必须考虑利益是否大于危害。但要知道这一点，我们需要明确的证据来证明人工智能技术提供的具体好处，而目前我们还缺乏证据。

• FDA的一个教训是，必须同时评估产品的安全性和有效性。在人工智能的背景下，决策往往以安全性和危害性为主要指标，而不是侧重于评估或挑战有效性的基本前提，或具体评估风险和利益。
• 为了服务于公众利益，应仔细考虑效能指标，使其不以利润或增长为主要或唯一指标，而是考虑到更广泛的社会效益。人工智能的监管方法应该要求人工智能系统的开发人员解释人工智能系统是如何工作的，它试图解决的社会问题，以及它提供的好处，而不仅仅是评估它的失败之处。 
• 功效评估可能会对人工智能的一些领域和应用提出生存挑战，鉴于机器学习研究在复制论文中发表的发现方面普遍失败，我们目前缺乏必要的方法来验证人工智能使用的表面益处。

上市前批准可能是监管干预最有力的阶段：在这一阶段，监管权力与公司的合规激励达到了顶峰。

• 在进入市场之后，美国食品药品监督管理局通过市场监督和召回，保留了一些为公众利益采取行动的能力，但我们看到该机构的行动能力及其成功行动的记录大幅下降。

无论是在美国食品药品监督管理局还是人工智能领域，确保产品进入市场后的下游合规性都是一项监管挑战。鉴于人工智能系统组件的来源多种多样，上市后监测对人工智能来说是一项挑战，但目前，大部分正在进行的人工智能监管执法都具有这一特点。

• 根据美国食品和药物管理局的类比，下游责任通过事后召回产品等机制实现，尽管一旦这些药物投入商业使用，其实施这些药物的能力就会减弱。将其应用于人工智能时，由于很难明确识别人工智能系统特定组件的来源链，这就变得更加具有挑战性。 
• 在美国食品和药物管理局（FDA）的背景下，公司仍需对药物广泛发布后对公众造成的危害负责，但在AI背景下确定责任并证明因果关系是重大障碍。目前，AI现有法律的大部分监管执行都是事后进行的，因此面临这些挑战。

要想有说服力，任何针对人工智能行业的监管干预都必须远远超出当前的惩罚标准，才能有意义地挑战世界上一些最大的公司。

• FDA的模式取决于FDA阻止制药公司向医生销售药物的能力，否则他们就无法在市场上销售药物。控制这一关键的市场准入大门是FDA的一大支柱，对其作为监管机构的有效性至关重要，在目前条件下，AI公司没有必然的市场准入门槛。 
• FDA监管的力量也来自体系中的其他参与者，从医生到保险公司，如果他们认为产品没有帮助，他们自己可以拒绝推荐或投保。这已成为制药行业的重要第二道防线，在制药行业，监管程序不够严格，银行和保险等其他行业也存在必然结果。这值得在人工智能的背景下得到更强有力的发展，因为在人工智能中，依赖性和摩擦点仍然相对不成熟。

提高市场构成以及AI产品销售过程的透明度对AI治理至关重要。目前，“人工智能市场”的构成轮廓尚不明确且不透明。

• FDA对药品的监管是由药品的“市场营销”引发的，这是进入药品市场的关键大门。在其他行业，某些产品的销售有大门，考虑到第一修正案的担忧，这可能比营销更可取。任何针对特定行业的人工智能监管尝试都会遇到一系列棘手的定义问题：人工智能市场由什么构成，产品如何进入商业用途？ 
• 此外，考虑到AI系统经常被相对强大的实体用于相对较弱的实体，因此，概念上的清晰性很关键，即采购AI系统的实体通常与使用该系统的个人不同，必须采取干预措施，超越欺骗性营销，保护广大公众的利益。

监管机构的融资模式对其有效性至关重要，可能会在无意中使监管机构受制于行业动机。

• FDA利用行业参与者支付的费用为其审查过程提供资金，从而确保为审查提供充足的资源。然而，在目前的模式下，食品和药物管理局必须定期向支付费用的公司提交预算，使其对正在审查其会计核算的公司负责——这严重削弱了该机构的权力，并有可能造成行业杠杆作用。

针对AI的FDA式文档要求已经是AI当前问责制真空的一个步骤。鼓励AI公司加强监控和合规活动，如记录保存和文档实践，将产生组织自反性，并为事后执行提供法律挂钩。

• 将FDA风格的功能引入AI治理过程可以激励AI开发人员的开发实践和潜在的运营模式的重组。就其本身而言，这将在人工智能公司内部创造更大的内部透明度和问责制，从而传递社会利益，并在执法机构需要调查人工智能公司时帮助其工作。

进一步阅读：

以下出版物丰富了我们的对话，我们建议将其作为那些想更进一步的人的创作起点。

• 从透明度到合理性：实现人工智能的事前责任–Giancladio Malgieri和Frank Pasquale
• 售前安全：从FDA的生命科学基础模型监督模型中学习——阿达·洛夫莱斯研究所的梅林·斯坦因和康纳·邓洛普。
• 信息经济中的监管监测–乔治敦法学院技术法律与政策研究所朱莉·E·科恩、布伦达·德沃斯金、梅格·莱塔·琼斯、保罗·奥姆和斯米莎·克里希纳·普拉萨德
• 算法FDA安德鲁·塔特
• 声誉与权力：FDA的组织形象与药品监管–丹尼尔·卡彭特

---

我们感谢那些参与审议这些问题的人。虽然这份备忘录提供了亮点，但该小组并不总是达成共识，个人的调查结果没有也不应该归因于任何特定的个人。对话参与者包括：Julia Angwin、Miranda Bogen、Julie Cohen、Cynthia Conti Cook、Matt Davies、Caitriona Fitzgerald、Ellen Goodman、Amba Kak、Vidushi Marda、Varoon Mathur、Deb Raji、Reshma Ramachandran、Joe Ross、Sandra Wachter、Sarah Myers West和Meredith Whittaker。

我们特别感谢我们的顾问委员会成员：Hannah Bloch-Wehba、Amy Kapczynski、Heidy Khlaaf、Chris Morten和Frank Pasquale，以及我们的来访政策研究员Anna Lenhart。

审议工作由Alix Dunn和Computer Says Maybe推动，Alejandro Calcaño提供支持。