自动化就业决策工具

在线评论: 20

• Fred Oswald，莱斯大学，workforce.Rice.edu

  请注意，除了影响比率之外，还有许多不同但合理的方法来计算不利影响统计数据。4/5法则（影响比<.80是不同影响的初步证据）源自UGESP常见问题解答，但并不排除这些重要的替代方案。4/5th规则本身是不对称的；也就是说，保护组选择的4/5规则与保护组拒绝的5/4规则的操作不同，尽管在概念上是相同的。此外，较低的选择率（例如，1.5%对2%的选择违反了4/5规则，尽管这是一个0.5%的选择率差异）比较高的选择率更容易违反4/5规则（例如，76%对95%没有违反4/5原则，但选择率差异是19%）。

  有关可能的其他不良影响指数，请参阅免费不良影响资源（FAIR），网址为https://orgtools.shinyapps.io/FAIR网站/，以及相关的书籍章节：

  Oswald，F.L.、Dunleavy，E.和Shaw，A.（2017年）。衡量不利影响分析的实际意义。S.B.Morris&E.M.Dunleavy（编辑）。不利影响分析：了解数据、统计数据和风险（第92-112页）。劳特利奇。

  https://www.researchgate.net/publication/31425607_Measuring_practical_significance_in_adverse_impact_analysis网站

  2022年9月23日下午2:51添加评论

• 迈克·费泽尔

  拟议规则将独立审计师定义为“不参与使用或开发AEDT的个人或团体，负责对此类AEDT进行偏差审计。”在第5-301节（偏差审计）下的第一个示例中，拟议的规则规定“……雇主要求供应商进行偏见审计。供应商使用从雇主收集的关于每个类别所选申请人的历史数据进行偏见审计……”因为大多数AEDT供应商也是AEDT的开发人员，这似乎表明，只要供应商雇用的个人或团体不是开发AEDT的同一个人或团体，供应商就可以对雇主进行偏见审计。
  同样，第二个例子指出“……雇主使用历史数据对每一类别申请人的平均“文化匹配”分数进行偏见审计……”这似乎也表明，只要进行审计的个人或团体不使用AEDT，雇主可以进行自己的偏见审计。
  换句话说，拟议规则不要求独立审计师是独立于供应商或雇主的法律实体。如果这是目的，最好在最后规则中加以澄清。

  2022年10月18日下午3:02添加评论

• 迈克·费泽尔

  拟议规则中机器学习、统计建模、数据分析或人工智能的扩展定义很有帮助。然而，它仍然可以解释为包括一系列就业决策工具，这些工具不属于机器学习和/或人工智能（ML/AI）的传统定义。如果LL 144和拟议规则的目的是监管ML/AI传统定义下的工具，我建议如下：
  （1） 删除术语“数据分析”和“统计建模”
  （2） 在扩展定义的第（ii）部分中，修改为“计算机主动识别输入……”
  （3） 提供不属于AEDT预期定义的其他示例。

  2022年10月18日下午4:19添加评论

• 纽约大学朗根健康学院Hannah Wade

  纽约大学朗根健康中心对拟议规则修正案的评论，第T分章：自动就业决策工具

  规则标题：使用自动就业决策工具的要求

  参考号：2022 RG 061

  规则制定机构：消费者和工人保护部

  请代表纽约大学朗根健康保险公司接受我们对实施2021年第144号地方法律有关使用自动就业决策工具（AEDT）的拟议规则的意见。我们感谢消费者和工人保护部（DCWP）给我们机会发表评论。

  随着医疗系统努力从新冠肺炎疫情中恢复，纽约市医院面临着巨大的劳动力挑战。由于持续的公共卫生危机，DCWP应考虑为医疗领域提供豁免。这些危机，包括新冠肺炎疫情的恢复、猴痘疫情的爆发以及最近涌入的寻求庇护者，给纽约市所有医院带来了巨大压力。我们对任何其他措施深感不安，因为这些措施阻碍了我们完成为患者提供安全、优质护理的使命。

  在纽约大学朗根健康学院，我们反对任何额外的障碍来填补急需的职位，包括护理、联盟健康、临床支持和其他支持服务。特别是，我们担心要求（第5-303节）在使用自动就业决策工具（AEDT）前10个工作日向候选人和员工发出通知可能会导致招聘延迟。这一要求带来了不必要的等待期，这将延长人员短缺的时间，并对纽约市的患者产生负面影响。

  在2022财年，我们收到了12796个职位的368536份申请，这些职位需要使用数据分析进行有效处理。处理时间延迟10个工作日将给我们的医疗系统带来不应有的困难，因为我们正在努力招聘和雇佣人才，以便为患者提供最佳服务。

  再次感谢您给我发表评论的机会。如有任何问题或其他信息，请联系我们。

  添加评论2022年10月20日上午9:56

• 迈克·费泽尔

  拟议规则（候选人和雇员通知）第5-303条规定：“（a）为了遵守《法典》第20-871（b）（1）和（2）条，雇主或职业介绍所可以通过以下方式向居住在该市的求职者发出通知：（1）在使用AEDT之前至少10个工作日，在其网站的职业或工作部分以清晰醒目的方式发布通知”
  如果雇主在公布将使用AEDT的特定工作空缺前10个工作日在其一般职业/工作网站上提供通知，这是否符合LL 144？

  2022年10月21日下午1:11添加评论

• 迈克·费泽尔

  拟议规则第5-303条（候选人和雇员通知）规定：（c）《守则》第20-871（b）（1）条要求的通知必须包括如何申请替代选择程序或住宿的说明。
  它还规定：
  （e） 本分章中的任何内容都不要求雇主或职业介绍所提供替代选择程序。
  如果雇主不需要提供替代方案，为什么要求他们提供如何申请的说明？

  添加评论2022年10月21日下午1:14

• 斯蒂芬·H

  需要对缺乏保护属性数据进行澄清。
  大多数供应商没有列出的许多保护属性的现有数据，例如种族或性别。雇主通常选择不与供应商共享这些数据，即使他们确实收集了这些数据，因为它们的敏感性。作为一家试图满足审计要求的供应商（不仅针对现有客户，还针对未来12个月内可能适用法律的任何未来客户），这使得在没有实际了解样本总体的保护属性的情况下，对任何机器学习算法的输出应用建议的测试都相当棘手。对于目前未接收或处理保护属性数据以满足审计要求的供应商，建议采用什么方法？

  2022年10月21日下午5:16添加评论

• 利兹·奥沙利文

  感谢您有机会评论这项里程碑式法律的最新指导。作为模型审计领域的供应商，我们为向客户提供AEDT的雇主和人力资源供应商提供工具、技术和服务。从这个角度来看，除了我们与其他监管机构的合作外，我们希望与客户、决策者和学术界分享我们工作第一线的一些见解。

  设定标准
  作为这一领域的活动家和学者，我们的团队多年来一直致力于AI公平性、可解释性、问责制和模型准确性等问题。我们的客户之所以来找我们，是因为他们知道我们对模型可能出错的许多方面有着深刻的了解。在过去的一年中，我们在本指南发布之前进行了一些审计，这些审计试图挖掘比指南要求更深入的内容。正如我们社区中许多人之前所说的那样，法律的范围及其建议的指导，虽然迫切需要，但可能达不到减少歧视性算法行为的预期效果。算法通常以多种方式进行区分，从年龄到残疾，再到种族和性别，还有许多交叉组合。通过限制当前指南的范围，我们的潜在客户可能没有动力对其技术进行彻底检查，从而形成我们领域的实践形式。我们的其余评论将试图阐明算法审计实践中的许多复杂性和冲突，以展示指南可能无法揭示可能继续存在的歧视的几种方式。

  供应商与雇主
  拟议指南包含一个在许多情况下可能不真实的前提：通过对EEOC指南中的报告进行建模，将减少对行业的商业提振。然而，雇主很少负责开发AEDT工具，雇主更频繁地依赖供应商为招聘过程提供AEDT。这在分析所需的数据类型和每个实体所拥有的数据之间提供了显著的紧张关系。问题是，是否允许雇主自己重新调整AEDT供应商提供的最高级别报告的用途，或者这些雇主是否也必须自己对自己有限的候选人供应进行审计。AEDT出错的许多方式之一是由于泛化错误。这就是说，供应商的适用性可能因雇主而异（即，在医疗保健中工作良好的工具可能表现不佳和/或歧视工程师）。该指南假设它应该在全球AEDT层面上进行，但未能解决此类错误，提供了算法可能存在偏差的多种方式之一，但在寻求复制该草案用于公开报告的模型审计的适当过程中，不会发现这种偏差。雇主和供应商为遵守该法律而进行的分析之间的主要冲突之一是处理是否以及哪些实体可能拥有人口统计数据的问题。

  人口统计数据
  由于该指南假定该报告将由雇主制作，而雇主可能无法获得供应商提供的比分表，因此他们中的许多人要求供应商为自己的网站提供该报告的副本。这给供应商提出了一个第二十二条军规，因为他们在很大程度上有意限制对人口统计学候选数据的收集，以遵守要求数据最小化和候选隐私的冲突法律，如GDPR。在应用时缺乏自我报告数据的情况下，人口统计数据很难获得（而且成本很高）。候选人通常不愿意在事后提供此数据，这在金融业是众所周知的，他们只有在申请信贷申请以遵守公平贷款法后才被允许收集此数据，导致调查回复率非常低。即使简单地保留这些数据，也会给AEDT供应商带来更大的风险，因为这些数据的泄露或被盗可能会导致罚款或其他法律处罚。

  交叉供应的可用性
  我们赞扬这一指导意见，因为它寻求在将报告划分为种族和性别组合时应用交叉性概念。然而，当有人要求我们调查多个同时存在的受保护类别的偏见时，我们正在进行交叉比较，将每个更广泛的类别划分为更小的类别，这在审计中的代表性方面产生了很大的差异。这些更为罕见的跨部门身份往往在其职业生涯中承受着大多数偏见和偏见，并经历了大量的守门工作。已有经验表明，我们的调查对少数民族类别进行了交叉切片，而每个类别的数据量都非常有限，因此结果具有误导性，因为它们并不代表具有统计意义的部分。在这种情况下，雇主和AEDT供应商面临着一个重大问题，因为公布这些类别的数字可能意味着歧视，而歧视的证据根本不存在。在某些情况下，甚至可能存在没有数据的类别。在这种情况下，我们经常看到供应商转向合成数据或全球代表性数据集，这些数据集可能与真正受AEDT影响的候选数据没有足够的联系。关于这一概念的科学研究相当有限，给审计界带来了很大的不确定性，并为未能代表现实的不足审计铺平了道路。

  冲突的法律
  一些良好做法可能会相互冲突。例如，数据最小化和匿名化可以保护我们的隐私，但也隐藏了我们进行审计所需的信息。一些行业（如金融部门）使用性别和种族推断，或合成/全球数据集来避免隐私问题，但这给审计增加了一层厚厚的不确定性，可能导致一些审计低估或高估偏见，我们稍后将对此进行详细说明。

  混淆因素（即人类选择偏见）
  在定义“基本事实”时，可能会倾向于使用一些表示批准的信号（例如，某个候选人已被录用，或某个候选人在录用过程中被提前录用）。然而，这些信号本质上是人类的，因此更有可能出现歧视性行为（或缺乏歧视性行为）来掩盖算法本身的行为。一个非常重视DEI的招聘经理的决策可能会抵消一个高度歧视性的算法，当然反过来也是正确的。在系统用户体验的背景下，对工具的训练数据、预测、方法、结构和大规模行为进行更深入的检查确实可以说明这种偏见，但今天的指南不需要任何此类报告，因此将错过改进的机会。

  主体性数学化
  在评估算法识别时，确定“基本真理”的定义至关重要。就招聘而言，这一概念相当主观，“适合工作的优秀候选人”的定义因组织而异，甚至在组织内部的招聘经理之间也可能有所不同。这使得模型审计的挑战变得不一致，因为这些定义因审计供应商而异。简言之，完全有可能“玩弄系统”，允许供应商提供反映真实存在偏见的地方缺乏偏见的审计。当前形式的指南确实为一种避免评估人为因素的方法让路，该方法允许仅通过比赛成绩分析不利影响。然而，稍后在这些评论中，我们将详细介绍一些场景，在这些场景中，尽管“通过”了度量标准，但这种简化的报告可能会遗漏许多形式的偏见。为了评估算法歧视，需要结合定量和定性分析，以便将对候选人的影响置于整个系统的背景中，并充分定位。候选人的定位、排名和表现质量对候选人获得录用的可能性至关重要。此外，AEDT供应商可以采取许多标准化做法来限制歧视，这些歧视只能通过评估其风险和控制做法来发现。由于忽略了算法影响领域的定性因素，该市为这些报告的误导性铺平了道路，最终未能反映现实世界中存在的歧视。

  人口统计推断
  正如我们之前所说的那样，雇主可能拥有他们雇佣的候选人的人口统计数据，但提供这种技术的供应商通常会积极努力，不收集这些重要信息。因此，这些AEDT供应商经常使用BISG等方法来推断种族和性别特征。BISG作为这些方法中最普遍的一种，是在医疗研究中发展起来的，并在金融部门得到了大规模应用。然而，除了对准确性的担忧外，这些方法本身也造成了结构上的不公平。种族本身是一种主观属性，许多人声称这一属性永远无法真正推断出来。这些方法还只允许对性别二元性进行分析，从而模糊了可能发生在性别范围内的对他人的歧视。该指南的一个意外后果可能是这些技术的扩散，这些技术因缺乏包容性和错误倾向而受到了深入的审查和批评。事实上，在许多情况下，这些错误率可能很高，足以进一步掩盖歧视或缺乏歧视。如果一组候选者与不正确的受保护组不正确地关联，这可能会导致准确性低到足以使报告不正确，从而产生误导。此外，像BISG这样的常见推理方法只能在我们可以假设红线化、白线化和绅士化使该地区的种族构成趋于一致的地区有效。对于纽约这样一个多元化的城市来说，这似乎远远不够，因为在纽约，同一邮政编码中的黑人约翰·史密斯可能和白人约翰·史密斯一样多。在我们的领域中，广泛的共识是，在分析中使用人口数据的唯一正确方法是从候选人自己自愿提供数据。我们建议AEDT供应商客户参与事后调查，尽管我们预计回复率会很低，因为这将产生最大的准确性。然而，这些调查需要时间，在许多情况下，在2022年下半年才开始进行这项分析的客户在公开报告发布之前将没有足够的时间完成这项举措。

  AEDT蛇油
  在Parity，我们有幸拥有拒绝对完全不能准确反映雇主匹配能力的技术进行审计的原则和特权。AEDT供应商与我们接触，他们寻求提供技术，试图将伪科学原理应用于工作匹配的概念，这些供应商可能能够显示报告，使其看起来比避免这些形式的算法谱系学的工具更公平或更准确。换言之，一个总是错误地猜测候选人是否适合这份工作的工具，或者一个可能会根据种族和性别因素平等地支持或否定每个群体的工具，可能看起来是公平的。然而，这种公平性是微不足道的——一种拒绝每个人参与每项工作的算法可能是公平的，但它也没有用处。这些伪科学算法给残疾候选人带来了更大的危险，但现行法律将无法完全消除这种歧视。

  歧视/缺乏歧视的不当报告
  最后，这一指导如此之高，使得有许多机会掩盖歧视，或在不存在歧视的地方报告歧视，从而给供应商/雇主带来不应有的风险和审查。在许多情况下，歧视可能会被掩盖，但仅举几个例子：

  1） 想象一下，有一种算法在护理工作中表现相当公平，但在工程中具有很大的歧视性。如果这些数字在某些类别中足够高，足以抵消另一类别中的低分，那么报告似乎“通过”4/5分规则，但仍将存在歧视。
  2） 想象一下这样一种情况：一个雇主收到一组求职者，其中一个职位的所有女性候选人实际上都非常适合该职位，而所有男性候选人都同样不合格。当一组匹配分数较高而另一组分数较低时，可能会出现有利于女性对男性的不利影响，而由此产生的指标可能无法代表工具本身缺乏歧视性偏见，而是申请人群体的一个特征。这是用数学术语量化“工作适合度”的主观性的直接结果。
  3） 可能的情况是，由于系统性的不公平和历史上的逆境，人口库中的一些交叉部分可能会获得比其他部分更低的比赛分数。这可能不是歧视性工具的结果，而是当今申请人群的一个特点。学术界建议在这些情况下纠正偏见，但由于增加权重或改变阈值以迎合一个弱势群体而不是另一个，这本身可能会构成一种“不同对待”的形式。
  4） 由于缺乏人口统计数据，一些类别可能没有足够的代表性来准确量化，导致数字的偏差不准确，无法反映大规模存在的歧视。
  5） 当采用人口统计推断时，错误率可能会很高，从而使得出的指标足够不准确，从而无法反映现实，无论是歧视还是缺乏歧视。
  6） 想象一下，一个工具的质量很差。这个工具可能是微不足道的公平，因为它平等地批准或拒绝所有候选人，因为它根本不起作用。选择供应商的雇主可能会被误导，认为这个工具值得使用，因为这需要报告，而实际上它只是“暗中捅了一刀”，并且可能会出现个人歧视的情况，特别是在目前的指导意见中没有代表的人口类别方面。

  这些看起来像是玩具示例，但从我们与客户的合作和研究中，我们发现它们相当常见。今天的指导可能忽略了这些情况，但算法查询领域提供了无数工具和方法来揭示这些情况，我们鼓励城市寻求更符合我们领域提供的最新指导。

  结论、建议和后续步骤
  我们再次感谢有机会发表评论。关于法律范围的重大问题仍然存在，最好在遵守期限之前予以答复：

  1） 对于使用AEDT的每个雇主来说，广泛的全球供应商分析是否足够？还是每个雇主都应该根据他们评估的候选人来定制报告？
  2） 种族/性别推断是否足以进行分析，尽管其准确性可能会降低，如果不能，当无法获得人口统计信息时，您建议使用什么方法？
  3） 当出现罕见类别组合的交叉切片，且数量本身可能不具有统计意义时，该市建议采用哪种报告方式？
  4） 通用或合成数据集是否足以进行分析，即使这些数据集可能无法代表真正受系统决策影响的候选人？
  5） 其他形式的筛选模型（如“文化契合度、参与概率、地理接近度”等）是否在法律范围内？还是范围仅限于对适合应聘者的工作进行评估？
  6） 该市是否会考虑推进某种形式的供应商认证，以限制工具和雇主通过选择不道德的供应商来玩弄系统的能力？
  7） 我们的算法审查领域正在迅速发展，该指南是否会为目前未包含在指南中的进步腾出空间，并随着科学的步伐继续发展？
  8） 该市是否会考虑延长合规截止日期，以便为雇主和供应商提供更多时间，开始从候选人那里收集人口统计信息的艰苦实践？

  我们很高兴与DCWP进一步接洽，以澄清这些问题或改进未来几年的指导，并期待您的反馈。

  谢谢您，
  平价团队

  评论附件
  奇偶校验-写评论.docx

  2022年10月22日下午4:34添加评论

• 梅夫·希科克

  请参阅随附的我对DCWP关于自动就业决策工具的拟议规则（地方法律144）的公开评论。
  谨致问候，
  梅夫·希科克
  AIethistist.org和Lighthouse Career Consulting LLC创始人

  评论附件
  DCWP_NYC-公共评论_服务-Hickok.pdf

  添加评论2022年10月23日上午6:18

• 整体AI团队

  感谢您有机会就这一重要事项提出问题。

  关键问题
  我们要求就拟议规则及其执行情况作出澄清。这些是：

  1.进行偏见审计时的交叉性
  虽然法律和拟议规则均未明确规定以交叉方式计算不同保护类别的“选择率”和“影响比”，但偏见审计示例以及DCWP在拟议规则中提供的相应说明性数据提供了交叉计算。

  在上一次更新中提供的示例中，提供了男性和女性的“选择率”和“影响率”数字，按种族/族裔进行细分（例如，拉美裔或拉丁裔、白人、黑人或非裔美国人等）。

  DCWP有必要澄清其关于“影响比”和“选择率”的计算是否应以交叉方式进行的立场？这是强制性的，还是被鼓励作为最佳实践？

  此外，如果采用交叉方法，DCWP应注意与小样本量有关的问题。

  2.其他指标和方法
  如果样本量较小，影响比可能会有问题；其他指标，如两个标准偏差规则，可能更适合。DCWP可以澄清其关于使用额外指标来计算偏差的立场。

  此外，还存在缺乏分数分配考虑的潜在问题。例如，在存在离群值或分数分布为双峰分布的情况下，平均分数将不会提供信息。然而，查看分数分布可以更好地了解该工具在不同子组中的表现。

  随附完整评论和问题。请联系[电子邮件保护]有关此提交的任何进一步信息或后续行动。

  评论附件
  整体AI-问题收集-LL144-建议法规.pdf

  2022年10月23日下午5:24添加评论

• 朱莉娅·斯托扬诺维奇

  尊敬的主席和部门成员：

  我叫朱莉娅·斯托扬诺维奇。我拥有纽约市哥伦比亚大学计算机科学博士学位。我是坦登工程学院计算机科学与工程副教授，数据科学中心数据科学副教授，纽约大学负责任人工智能中心创始主任。在我的研究和公众参与活动中，我专注于将法律要求和道德规范，包括公平、问责、透明度和数据保护，纳入数据驱动的算法决策中。我在纽约大学为研究生和本科生教授负责任的数据科学课程。最重要的是，我是一个忠诚而自豪的纽约人。

  我要赞扬纽约市承担起监督自动决策系统在招聘中的使用这一雄心勃勃的任务。我认为，《144号地方法》是纽约市以身作则的绝佳机会，但前提是该法的颁布符合所有关键利益相关者的需要。迄今为止，对话主要是商业实体的声音，尤其是AEDT供应商和代表他们的组织，以及使用AEDT的雇主，以及希望进行AEDT审计的商业实体。然而，正如我们在消费者和工人保护部面前作证的事实所表明的那样，主要利益相关者团体《地方法144》旨在保护求职者和员工免受非法歧视、武断和反复无常的决策。然而，他们的声音和他们代表的声音却明显地从对话中消失了！
  作为一名在AEDT开发、使用或审计方面没有商业利益的学者和个人，我今天尽最大努力发言，以代表求职者、员工和广大公众的利益。然而，我不能仅代表这个多元化的群体发言。因此，我今天的主要建议是，纽约市必须确保各种求职者、雇员及其代表积极参与制定规则和颁布第144号地方法律。

  背景：我积极参与了2021年第144号地方法律通过前的审议，并在该法律提出时围绕该法律开展了几项公众参与活动。根据我的研究和公众的意见，我就本法的审计和披露要求撰写了大量文章，包括《纽约时报》上的一篇意见文章和《华尔街日报》上的文章。我还一直在向公众教授人工智能的影响及其在招聘中的应用，最近在皇后区公共图书馆开设了一门名为“我们是人工智能”的免费住院课程。（在线提供课程材料。）基于我的背景和经验，我想就执行第144号地方法律提出4条建议。

  请参阅附件中我的完整证词和详细建议。

  评论附件
  Stoyanovich_LL144_October24_2022.pdf

  2022年10月24日12:45am添加评论

• BABL人工智能

  请参阅随附的BABL AI团队对DCWP建议的地方法律144规则的公开评论。

  Shea Brown公司
  BABL AI Inc.创始人兼首席执行官。

  评论附件
  BABL-AI-Local-Law-144-评论-2.pdf

  添加评论2022年10月24日上午10:23

• 丹尼尔·施瓦茨

  纽约公民自由联盟（“NYCLU”）谨就实施2021年第144号地方法律的拟议规则提交以下证词。纽约市公民自由联盟是美国公民自由联盟在纽约的附属机构，是一个非营利、无党派组织，在全州设有八个办事处，有超过18万名成员和支持者。纽约大学的使命是捍卫和促进人权法案、美国宪法和纽约州宪法所体现的基本原则、权利和价值观。纽约大学致力于扩大隐私权，增加个人对个人信息的控制，确保公民自由得到加强，而不是因技术创新而受到损害。
  纽约市议会颁布了2021年第144号地方法律（“LL 144”），该法律值得称赞地试图解决自动化就业决策工具（“AEDT”）中的偏见问题。AEDT与其他领域的自动决策系统类似，迫切需要透明度、监督和监管。这些技术经常复制和放大偏见、歧视和伤害，这些人过去和现在都受到偏见和歧视的过度影响，包括妇女、黑人、原住民、所有有色人种、宗教和少数民族、LGBTQIA人、生活贫困者、残疾人、，现在或已经被监禁的人，以及其他边缘化社区。AEDT的使用通常伴随着部署这些系统的人与受其影响的人之间的严重权力失衡，特别是考虑到AEDT在没有透明度甚至没有最基本的法律保护的情况下运行。
  不幸的是，LL144远远没有为候选人和工人提供全面的保护。更糟糕的是，纽约市消费者和工人保护部（“DCWP”或“部门”）提议的规则将通过限制其范围和效果，进一步阻碍该法的授权和意图。
  DCWP必须加强建议的规则，以确保AEDT的广泛覆盖，扩大偏见审计要求，并向受影响的人提供透明度和有意义的通知，以保证AEDT不会以数字方式规避纽约市的反歧视法律。候选人和工人不需要担心被歧视性算法筛选。

  回复：§5-300。定义
  LL 144将AEDT定义为“实质上有助于”决策的工具。DCWP提出的规则进一步将该定义缩小为“输出权重大于集合中任何其他标准的一组标准之一”。该定义超出了法律的意图和含义，仅在特定场景和AEDT子集上存在覆盖风险。在最荒谬的情况下，雇主可以部署两种不同的AEDT，权重相等，两者都不受此规定的约束。更令人担忧的是，雇主可能会大量雇佣不符合这一门槛的AEDT，同时仍会对候选人或工人产生重大影响。国防部应修订这一定义，使其与法规保持一致。
  拟议的“简化输出”定义将排除“翻译或转录现有文本的分析工具的输出，例如，从PDF转换简历或转录视频或音频采访。”然而，已知现有转录工具存在种族偏见，它们的输出可以很好地用作其他AEDT系统的输入，从而导致有偏差的结果。

  回复：§5-301偏差审计
  LL 144§20-870中关于审计偏差的定义明确将不同影响计算列为一个组成部分，而非唯一组成部分（“包括但不限于”）。跟随。拟议规则第5-301节中给出的示例未考虑AEDT对年龄和残疾的影响，或其他形式的歧视。
  除了对AEDT的不同影响进行评估外，任何符合偏差审计资格的评估都至少需要包括以下评估：
  •雇主应意识到并控制特定AEDT歧视性结果的风险，包括AEDT实施和使用过程中可能出现的风险；
  •任何培训/建模数据的来源，以及为确保培训数据和样本的准确性和代表性而采取的步骤，以符合职位的候选人库；
  •AEDT所依赖的属性，以及AEDT是否通过依赖任何受保护属性或受保护属性的任何代理进行不同的处理；
  •考虑和采用了哪些歧视性较小的替代投入；
  •AEDT将用于评估候选人的每个职位的基本职能，AEDT测量的特征或特征是否是基本职能所必需的，AEDTs使用的方法是否是衡量人们履行基本工作职能能力的科学有效手段。
  联邦EEOC指南中概述了类似的基本组件，其中建议包括“有关工具设计用于测量哪些特征或特征、测量这些特征或特征的方法以及可能降低评估结果或导致筛选的残疾（如果有）的信息。”
  偏差审计应明确说明所报告统计数据的来源。这包括数据从何处收集、由谁收集、何时收集以及如何处理。它还应提供理由，说明为什么偏见审计模型总体的数据来源被认为与AEDT的这一特定部署相关。
  当特定候选类别（根据EEO-1第1部分）的成员人数较少或不存在，可能导致统计数据不具代表性时，比率计算的拟议规则也未提及适当的截止值。
  LL 144规定，任何“工具在使用前不超过一年进行过偏差审计”。DCWP的规则应明确规定，这需要对AEDT的持续使用进行年度审计，并提供一个类似于费率计算场景的示例。

  回复：§5-302公布结果
  在雇主和职业介绍所网站上披露的偏见审计不应局限于§5-301所述的选择率和影响率结果。它应该包括我们对偏见审计的评论中提到的所有要素。总结应适当描述AEDT，并包括有关工具拟评估的特征、用于评估的方法、针对候选人或员工收集的数据的来源和类型，以及影响AEDT输出的任何其他变量和因素的信息。它应说明任何残疾是否会影响AEDT的输出。
  此外，公布的结果应列出AEDT的供应商、使用的产品的具体版本以及进行偏差审计的独立审计师。DCWP应提供包含此类信息的示例。
  公布结果的拟议规则中所示的“分配日期”还应说明AEDT在该日期用于雇佣或晋升过程的哪个特定部分。除非已经有明确的公共指标来描述具体的就业或晋升决策过程，否则不足以说明“带有上述偏见审计的AEDT将于2023-05-21年部署”。应更新所有示例，以包括合理的部署/分发描述。
  公布的结果应包括关于AEDT参数的明确指标，作为审计和测试条件，法规应明确规定，雇主不得以与偏见审计的方式有重大不同的方式使用AEDT。这包括如何从候选人或员工那里收集输入数据，以及如何从用于偏见审计的模型人群中收集可比输入数据。例如，如果AEDT测试使用了特定的截止或加权方案，则实际部署中使用的截止或权重方案应尽可能与之匹配，并且出版物应指出任何分歧及其原因。当在一个级别设置截止值或排名时，工具可能不会显示不同的影响，而显示与其他级别的不同影响。同样，如果一个输入变量是每周工作小时数，偏差审计的模型总体从内部工资数据中得出这些数字，但候选数据将来自自我报告，然后，出版物应指出分歧，并对分歧的原因进行评论，并评估分歧可能对偏见审计的相关性产生的影响。
  最后，规则应明确，公布的结果必须以机器可读和符合ADA的格式披露，以便使用各种辅助技术的人员能够访问。

  回复：§5-303给候选人和员工的通知
  LL 144第20-871（b）（2）节要求披露AEDT将在评估中使用的工作资格和特征。规则应明确，应向候选人或员工提供尽可能多的信息，以有意义地评估AEDT对他们的影响，以及他们是否需要申请替代选择流程或住宿。
  法律还要求雇主“允许候选人申请其他选择程序或住宿”。条例应向雇主提供如何提供其他选择程序和住宿的参数，包括可以使用哪些流程来公平及时地考虑通过住宿或其他流程进行评估的候选人。仅通过在法规中声明“本分章中的任何内容都不要求雇主或职业介绍所提供替代选择过程”这些规定表明，法律对候选人提供了一种空洞的保护，只允许他们提出替代方案的请求，而雇主没有任何义务以任何方式考虑或尊重该请求。

  结论
  最后，纽约市大学感谢消费者和工人保护部给我们提供证词的机会。该部的规则制定有助于确保富有成效地实施第144号地方法律，并明确指出歧视性技术在纽约没有立足之地。我们强烈敦促新闻部修订和加强拟议规则，以兑现法律承诺，减轻偏见，并向人们提供他们需要的信息。

  评论附件
  NYCLU证词-DCWP-Employment-ADS-20221024.pdf

  添加评论2022年10月24日上午10:58

• 雅各布·阿佩尔

  随函附上ORCAA对拟议规则的意见。

  谢谢您，
  雅各布·阿佩尔
  ORCAA首席战略师

  评论附件
  DCWP-注释_ORCAA.pdf

  2022年10月24日11:07am添加评论

• 罗伯特·T·斯齐巴

  随函附上Seyfarth Shaw LLP代表根据地方法律144或2021使用自动就业决策工具的拟议规则，请予以罚款。

  评论附件
  Seyfarth-2022-10-24-Ltr-to-NYCDCWP-re-AI-Rules.pdf

  2022年10月24日上午11:23添加评论

• 纳齐尔·斯科特

  HireVue是一个视频访谈和评估平台。我们已经为全球客户举办了3000多万次面试和2亿次基于聊天的应聘活动。HireVue支持候选人和雇主在广泛行业的面试经验。HireVue对该法案的评论是基于我们在招聘中使用人工智能的丰富经验。

  我们知道，人类在招聘决策中并非不受偏见的影响——从公开偏见的存在到潜意识偏见。HireVue致力于减少招聘中的人类偏见，这从一开始就源于我们使用由我们的高级工业和组织（IO）心理学家和数据科学家团队实施的科学验证方法。

  HireVue对透明度、问责制、持续改进和与利益相关者接触的持续承诺有助于推动更公平的招聘流程，为我们的客户及其候选人提供更公平、更灵活的体验。

  考虑到这一经验并转向拟议的法案，HireVue质疑严重限制良好实践和有益创新的立法，这些实践和创新以试图减轻算法偏见的名义实际扩大就业机会。法案的“一刀切”方法不一定能有效地解决法案的基本目标。

  我们还要提请该机构注意，在就业方面无法满足法案的某些具体要求，例如对数据（种族、性别、婚姻状况等）进行分析由于先前存在的雇佣法和/或各种隐私法中的数据最小化概念，雇主无法要求，而服务提供商可能自然没有。审计要求也没有在进行审计之前纳入统计上重要数据的阈值，以确保对结果有一定程度的信心。

  最后，关于任何算法审计要求，经过深思熟虑的审计以及任何要求其在“好”的基础上继续发展和改进的立法都应该留有空间，以确定和解决相关结果。根据其经验，HireVue提出了以下几点，供理事会在算法审计方面考虑：

  首先，必须明确定义审计标准。与隐私、金融等其他行业的审计标准非常相似，对人工智能工具的审计应包括参考相关且完善的行业和法律标准，以测试该工具。它应该解释模型的工作原理、目的和局限性，以及决策所依赖的数据，并且应该用外行能理解的语言来解释。

  其次，审计的重点应放在产品开发之初，以确保算法工具在部署前得到设计、开发、培训和测试，包括识别和减轻偏见的步骤。部署后，还应在部署后定期监控算法，以确定任何意外结果。

  最后，供应商应负责对其提供给客户的基于人工智能的产品进行独立审计。供应商在工具的开发方式和使用的数据类型上会有所不同，因此审计的方式不会通用。审计必须始终考虑AI在何处以及如何使用的行业和背景。

  提供背景：在HireVue的案例中，部署不同于“日常”对待求职者的算法是违反EEOC指南的，因此我们选择仅部署静态算法模型（在对其进行审计并在招聘时根据既定框架进行测试后）。这意味着我们的算法是“锁定的”，不会从实时未经处理和过滤的客户数据中学习或不断更改，因为这对求职者来说是不公平的。这种方法可以防止偏见蔓延到我们预先测试的模型中。

  我们还建议，使用HireVue审计算法工具的客户应该能够依赖这些审计结果，而无需对部署的模型进行独立审计——尽管应该继续定期监控模型，以验证AI工具在其特定环境中的部署和使用，例如，使用他们的实时数据。这一区别和概念未能在现行法案中体现出来。
  适当利益相关者之间的持续对话是制定保护候选人、公司和创新的立法的关键。HireVue欢迎与所有招聘技术潜在影响相关的立法，因为它鼓励透明度，并改善了所有候选人的流程和公平性。像这样的立法要求所有供应商满足我们从一开始就支持的高标准。

  请参阅随附的关于该法律的其他评论。最后，鉴于该法规则制定的持续性，HireVue建议将执行推迟到发布任何最终监管规则制定或指导意见后6个月，以便雇主和服务提供商审查并采取行动。

  谢谢您，
  Naziol S.Nazarinia Scott，HireVue，Inc.法律总顾问兼高级副总裁。

  评论附件
  HireVue-Comments-on-New-York-City-Local-Law-144-of-2021_2022_10_24_.pdf

  2022年10月24日下午1:22添加评论

• 芭芭拉·凯莉

  我们代表工作场所平等研究所（“IWE”或“The Institute”）提交所附评论，以回应纽约市（“NYC”或“城市”）消费者和工人保护部（“DCWP”或”部门“）的邀请。该部门的《拟议规则通知》旨在澄清纽约市第144号地方法律规定的要求，该法律将规范自动就业决策工具（“AEDT”）的使用，在这些工具中，雇佣决策是由算法驱动机制做出的，或在很大程度上由算法驱动的机制提供协助。

  评论附件
  2022.10.24-IWE-NYC-Local-Law-144-意见函-FINAL.pdf

  2022年10月24日下午5:47添加评论

• C.米奇·泰勒

  请代表人力资源管理协会SHRM接受所附关于当地法律144项下自动就业决策工具（AEDT）拟议规则的意见。

  评论附件
  SHRM-NYC-AI规范-意见.pdf

  2022年10月24日7:15pm添加评论

• 陈嘉豪

  尊敬的委员会成员：
  我很高兴就自动就业决策工具的使用要求（参考号DCWP-21；“规则”）提出意见。我是Responsible Artificial Intelligence LLC的所有者，这是一家提供算法审计和咨询服务的纽约公司。此前，我是Parity Technologies，Inc.的创始人兼首席技术官，该公司是一家致力于实现模型风险管理和AI合规现代化的初创公司；以及摩根大通（JPMorgan Chase&Co.）人工智能研究主管和Capital One数据科学高级经理，我在那里成立了负责人工智能及其在金融监管合规方面的应用的研发团队，如《平等信贷机会法》（Equal Credit Opportunity Act）；以及麻省理工学院研究数据科学技术的研究科学家。自2022年初以来，我与多家人力资源供应商进行了交谈，包括初创公司和成熟公司，以及一家著名的法律公司，他们寻求我的意见，以确定如何遵守AEDT法律（“法律”）。我想就我与多名数据科学家、律师和供应商的讨论中浮现的现实操作问题发表一些看法，并就如何将联邦监管机构在就业和金融方面的最佳实践有效地转化为该法的背景提出我的想法。
  供应商责任。关于遵守该法，最大的悬而未决的问题之一是供应商有什么责任。大多数雇主不太可能拥有内部专业知识来评估其使用此类AEDT是否合规，因此将把合规审计外包给第三方审计师。这大概就是法律的意图，要求进行此类审计。然而，大多数雇主也缺乏建立自己的AEDT的能力，而是选择从外部供应商购买解决方案。在这种情况下，雇主的真实就业数据与供应商的AEDT代码和培训数据之间存在所有权分离。因此，审计师必须应对具有挑战性的内部政治，以确保雇主的数据和供应商AEDT可用于成功的审计，前提是供应商-客户合同甚至允许这样的访问。
  数据所有权问题阻碍了健壮性测试。根据当前最佳实践构建的现代数据密集型AEDT不仅由其内部算法规则定义，还由用于开发AEDT的训练数据定义，以及如何构建模型、根据潜在替代方案进行选择和内部验证的开发过程。因此，评估培训数据与实际部署用例的统计相似性至关重要。人工智能系统的性能在很大程度上取决于输入到系统中的数据——例如，大多数仅输入男性个人资料的人工智能系统不会因女性的缺席而受到影响，即使在性别平衡的测试人群中使用时，这些系统被评估为没有歧视性结果。因此，必须根据特定人群的数据评估歧视性结果，这使得很难完全免除供应商解决方案的用户。相反，如果供应商不对其解决方案的典型用法做出强烈假设，则很难证明或证明AEDT不会产生歧视性结果。简而言之，当供应商拥有培训数据而下游用户拥有测试数据时，双方必须进行某种形式的数据共享，以测试健壮性和样本外泛化误差。这种数据共享必须谨慎进行，以保护数据集中的身份，尤其是当涉及EEO-1人口统计数据和其他个人身份信息时，如果泄露可能会损害隐私。
  道德败坏的风险。当公司为自己的产品支付审计费用时，不可避免地会产生利益冲突。即使在算法审计行业发展的这个初级阶段，一些公司如何在发布审计之前对审计进行严格审查，或者如何使用表面上中立的学术出版物平台以同行评审的形式对其评论进行验证，也已经引发了争议。一方面，重要的是要认识到，合规性审计通常是在代理人-客户特权下进行的，这样客户就可以解决和纠正任何负面发现，而不会在这一过程中自责。另一方面，审计的付酬性质必然会产生利益冲突，激励被审计方以快乐换取未来业务和建立关系。当然，这种担忧并不新鲜，几十年来一直困扰着财务审计。金融服务业的经验清楚地表明，需要对审计进行独立核查，这通常表现为政府实体的监管审计。
  再现性需要数据和算法治理。审计AEDT的行为本身就意味着审计师可以独立复制开发人员对AEDT属性的声明，例如它对给定测试集没有歧视性影响或预期性能。然而，复制AI/ML系统本身的行为——用类似真实世界条件的数据流副本建立生产环境的副本——本身就是一个重大的工程挑战。有必要在不影响生产数据流的审计环境中连续复制生产系统，以确保审计过程不会无意中污染和影响AEDT本身的使用。
  人口统计标签收集中的数据质量问题。一个相关的问题是数据质量——如果输入错误的数据，最具预测性的AEDT仍有可能失败。在算法审计的背景下，数据质量问题不仅涉及输入AEDT的数据，还涉及EEO-1人口统计数据和其他需要收集的个人识别信息，以便按照种族、性别、年龄和其他受保护阶级对人进行正确分类。实际上，EEO-1人口统计数据是由申请人和员工自愿提供的，这意味着人们将自愿拒绝自我认同。这种拒绝并不是统计上的随机现象，但当被保护阶级的成员身份（如精神残疾或具有特定性取向）带有社会耻辱感或其他可能因“外出”某人以属于某个群体而造成伤害时，这种拒绝就极有可能发生。无论是否可以用足够的统计能力来衡量歧视性结果，尤其是如果使用贝叶斯改进姓氏地理编码（BISG）等插补方法来填充缺失的人口标签，都应考虑人口标签质量的这种缺失的非随机性，这是消费金融服务合规性测试中常见的做法。
  建构效度。当必须做出的决策数量存在固有的伸缩性挑战时，对AEDT的需求最大。在就业方面，这通常出现在招聘的早期阶段，以缩小被列入后续面试候选名单的申请人的范围。然而，目前尚不清楚在就业决策的早期阶段收集的数据，例如收到求职者的简历或视频记录，是否会包含足够的预测信号来准确预测应聘者是否适合招聘。实际上，AEDT无法预测诸如“可雇佣性”之类的抽象概念，而是计算旨在衡量这些抽象概念的适用性得分等的指标。审计必须评估结构有效性问题，即AEDT的预测目标确实是一个有效且适当的量化指标，可以操作正在考虑的就业决策。这些考虑当然是联邦就业法中长期争论的问题；然而，决策的算法性质及其在进行定量预测中的应用将这种基本的可测量性问题带到了评估的前沿。许多旨在量化算法偏差的指标隐含地假设AEDT的预测目标是完美定义的，没有任何测量模糊性，这在实践中不太可能是真的。因此，需要严格评估预测目标的结构有效性，以避免在支持或反对算法偏差的定量证据中出现错误的过度估计和过度自信。
  消极阶级抽样的伦理。一个特别棘手的数据质量问题被称为信贷决策中的拒绝推理，它与其他机器学习环境中的正标记学习问题密切相关。对于AEDT来说，这是一个问题，它在积极决策类和消极决策类之间造成了数据不对称。例如，雇主不断收集有关通过多次面试的候选人的越来越多的信息。相反，一个没有被选中参加面试的候选人，其相关数据会更少。这意味着，在招聘决策中，评估假阳性（一个有前途的候选人，结果是一个差劲的员工）比评估假阴性（一个面试不好的候选人，本来是一个好员工）更容易。负面类的反事实性质使得涉及他们的评估在实践中很难评估——从候选人库中删除的人根据定义是从未被安置在工作岗位上的人，因此无法真正衡量他们是否擅长自己的工作。对AEDT预测值的关键评估应包括对消极决策分类的评估，但如果在任何数据集中都没有对这一分类进行测量，则需要进行专家审查以验证消极决策，或者需要一个实验框架来测试AEDT预测的反事实变化。为了算法评估而故意改变雇佣决策显然存在道德风险，而且错误分类的成本很高，这将阻碍收集真实验证数据。一个设计良好的审计应该认识到负面类抽样的重要性，同时制定程序，在不产生不当成本的情况下进行必要的反事实测试。
  交叉性和主体隐私。明确呼吁跨多个受保护阶级进行交叉测试是对现行联邦标准的一种值得欢迎的强化，这些标准不要求同时进行种族和性别测试。然而，交叉关注增加了身份识别的风险，从而使代表性不足的群体失去隐私。用于定义一个类别的标签越多，例如“a性别、B种族和C年龄组的人”，属于这个确切类别的人就越少。在测试联邦就业法定义的每一个受保护类别这一逻辑极端上，存在着这样一种风险，即交叉类别过于精细，以至于只有一个人可能属于该类别。当存在此类类别时，汇总统计信息可能会泄漏有关单个人员的信息。实际上，交叉类别的粒度必须与隐私问题相平衡。我有一些非常初步的研究表明，差异隐私是在算法审计中实现这些目标的一种很有希望的机制，尽管需要进行现场测试来验证我们能够发布的理论工作。
  五分之四规则的谬误。不幸的是，关于算法偏差的文献使人们对五分之四规则的重要性产生了误解，而当前的规则有可能被永久化和编纂。人们经常声称，《平等就业机会法》将不同影响率作为衡量就业歧视的唯一合法指标，当其超过80%时，没有发现就业歧视。事实上，追溯五分之四规则的历史发展表明，这只是一条官僚经验法则，用于优先处理案件以进行进一步的监管审查，事实上，在1971年加州公平就业实践委员会（California Fair Employment Practice Commission）的一次会议上，80%的门槛实际上是任意设定的，是70%阵营和90%阵营之间的妥协，这一妥协似乎从那以后就再也没有受到过多的审查。五分之四规则的任意性已被多个联邦法院在多个法院案件中承认：法院发现80%的门槛既不必要也不足以确定歧视性结果，并承认其他形式的统计检验，例如对平均数相等的假设检验，在实际的法庭案件中。简言之，80%的门槛是任意的，无法捕捉到不太严重的歧视性结果，尤其是当样本规模较小且受保护阶级的成员身份不明确时。
  为了应对这些业务挑战，我想提出以下建议供您考虑。
  建议1。纽约市政府应投资于自己的审计师和监管者，以评估审计是否需要独立审计，并在有帮助的情况下采用金融监管机构和审计师的相关最佳做法。
  建议2。澄清AEDT及其相关数据集的管理要求将有助于规则的实施。
  建议3。《规则》应阐明应如何测试稳健性和通用性，如果是，应如何影响不同所有者之间的数据共享，以便进行合规性审计。
  建议4。澄清供应商向下游客户销售AEDT的责任，以及AEDT下游采购商能够将责任转移给供应商的程度（如果有），将有助于规则的实施。
  建议5。监管机构应与国家标准与技术研究所（NIST）等标准制定机构合作，开发和管理代表可能受AEDT影响的典型人群的测试数据集，以便对AEDT进行高质量测试，从而进行逐一比较。
  建议6。监管机构应支持那些自愿采用NIST AI风险管理框架（RMF）或类似最佳实践来构建和使用AI系统的公司。监管机构应发布与AI RMF一致的更具体指导，以简化合规审查。
  建议7。《规则》不应编纂通过或不通过的任何具体指标或阈值，而应考虑可能的多个有效指标，并坚持进行统计有效性测试，而不是简单地通过数字阈值。
  最后，我要祝贺纽约市颁布这项法律的创新，这是就业行业的第一项此类法律。上述评论并不是要贬低该法的重要性，而是要强调应该管理的实施风险，以便该法能够产生预期的效果，促进就业机会的包容性和可获得性，提高高风险决策的透明度，减少就业决策中的歧视。如果我能对这些评论进行进一步澄清，请毫不犹豫地联系我们。

  评论附件
  2022-10-24-NYC-AEDT.pdf

  2022年10月24日11:59pm添加评论

• 伊莎贝尔·比克莱尔·埃利亚萨夫（Isabelle Bichler-Eliasaf）

  作为第144号地方法律的热心支持者，以及作为一家总部位于纽约市的公司，再培训。我赞扬立法者为保护候选人和员工、促进公平和透明以及确保人工智能在招聘中发挥其作为工作场所多元化、公平和包容性驱动因素的全部潜力所做的努力。

  在全球范围内，再培训ai人才智能平台是负责任ai领域的行业领导者。基于对任何组织最宝贵的资产都是员工的理解，我们的平台有意以员工为中心，旨在帮助企业将合适的人员安排到最合适的角色中，以造福个人和雇主，并为前者提供发展壮大和竞争所需的未来技能。

  除了帮助企业提供人才获取和人才管理解决方案外，我们还是世界经济论坛的成员，在该论坛上，我们与公共和私营部门领导人合作，为克服当前的劳动力危机和建立未来的韧性贡献新的解决方案。retrain.ai还与负责任人工智能研究所（RAII）合作，RAII是一家领先的非盈利组织，为可信、安全和公平的人工智能构建有形的治理工具。

  基于我们在人工智能、机器学习、负责任人工智能方面的广泛专业知识，以及我们在广泛行业雇佣、提升和培养员工方面使用人工智能的丰富经验，我们提交了我们对法律的意见（见附件）。感谢您给我机会参与这次重要对话。

  评论附件
  再培训.ai-Comments-on-NYC-Local-Law-144.pdf

  添加评论2022年11月4日晚上8:37