机器学习（ML）安全性是一门关注机器学习系统及其所基于的数据安全性的新学科。 它存在于信息安全和数据科学领域的交叉点。
虽然最先进的技术在进步，但没有明确的入门和学习路径来保护和测试机器学习系统。 那么，感兴趣的实践者应该如何开始开发机器学习安全技能？ 你可以阅读相关文章 arXiv公司 ，但实际步骤如何？
竞争提供了一个充满希望的机会。 NVIDIA最近帮助在 DEF CON 30（DEF控制器30） 黑客和安全会议。 主办单位： AI村 比赛吸引了3000多名参与者。 它旨在向与会者介绍彼此以及ML安全领域。 事实证明，这次比赛是参与者发展和提高机器学习安全技能的宝贵机会。
NVIDIA AI红队和AI村 为了积极测试和评估NVIDIA机器学习产品的安全性，NVIDIAI红色团队一直在扩大。 虽然该团队由经验丰富的安全和数据专业人员组成，但他们认识到需要在整个行业培养ML安全人才。 随着更多的接触和教育，数据和安全从业者可能会提高其部署的机器学习系统的安全性。
AI村 是一个由数据科学家和黑客组成的社区，致力于就安全和隐私方面的人工智能（AI）主题进行教育。 社区每年在DEF CON举办活动。
NVIDIA AI红色团队和AI村在DEF CON 30大会上联手，让信息安全社区参与机器学习安全竞赛。 这个话题对许多与会者来说可能是新的。 AI村的成员创建了旨在教授和测试ML安全知识要素的挑战。 除了NVIDIA，这些成员还代表 AWS安全 , Orang实验室 、和 NetSec解释 .
AI村夺旗比赛 夺取旗帜（CTF）比赛包括多项挑战。 参赛者应对挑战，并为成功完成的挑战收集旗帜。 根据挑战级别为这些标志分配不同的点值。 竞争对手靠得分最多而获胜。
考虑到这种熟悉的格式，AI村和NVIDIA AI红色团队建立了 AI村CTF@DEFCON 组织者与Kaggle合作，使用机器学习社区熟悉的平台。 与信息安全CTF类似，卡格尔竞赛为ML研究人员提供了一种在离散问题上竞争的形式。
与Kaggle的合作为竞争对手提供了一个灵活且可扩展的平台，该平台将计算和数据托管与文档和评分相结合。尽管挑战服务器不再活动，但您可以查看 质询说明 .
竞争对手报告称，在AI村所需的额外基础设施最少的情况下，他们可以轻松加入并应对挑战。 此外，Kaggle拥有大量熟练的数据科学家和机器学习工程师，他们对探索安全领域感到兴奋。 卡格尔还慷慨地提供了持续的支持和25000美元的奖金。 我们不可能为这次活动要求更好的合作伙伴。
在长达一个月的比赛中，超过3000名选手挑战了22项挑战。 这远远超出了预期，包括来自70多个国家的参与者，从第一次参加Kagglers到Grandmasters。 该活动成功地将传统信息安全和机器学习社区结合在一起，以应对来自ML安全这一新领域的一系列挑战。
竞争对手使用了公开可用的工具和创新技术应用程序，如开源研究、屏蔽和降维。 在这个过程中，他们还经常重新实施学术文献的攻击。
因为还有一个挑战没有解决，所以总有机会有人登上排行榜榜首。 在比赛的最后两周，Kaggle讨论板和AI Village Discord充斥着对剩余未解决挑战的理论和探索。 组织者每小时都在检查一次抢先的排行榜轮换。 查看 挑战解决方案 .
图1。 玩家在为期一个月的AI村夺旗比赛中得分
推理挑战 在推理挑战中，参与者必须执行 成员推理攻击 识别培训样本。 他们只有图像分类器的API访问权限。 成功完成后，参赛者将识别出显示国旗字符的图像。
一些竞争对手选择通过排列像素值随机生成图像，有效地解决了这个问题。 其他竞争对手认为培训数据可能包括标准数据集，并使用 EMNIST公司 作为他们的源数据，利用开源数据。 其他人利用 对抗稳健工具箱 ，生成类似于图2所示的输出
图2。 推理挑战的输出示例，拼写为D3FCON
无论使用什么方法，成功的挑战者都会得到国旗的奖励，即拼写为D3FC0N。 DEF CON会议名称的这种leetspeak编码在会议网站上的多个位置使用。
作物2挑战 研究和现成的思维通常有助于解决CTF挑战。 例如，比赛中一个未解决的挑战是Crop2。 在Crop2中，参与者被赋予了一个有毒的种植模型，并且必须创建有毒的样本（在一定的误差范围内）。 他们有一个训练数据示例可以使用（图3）。
图3。 向参赛者提供的训练图像样本
如果没有有效的标准算法解决方案，这将是一个难题。 当你考虑到图像中的所有像素和三个颜色通道中所有可能的像素值时，搜索空间爆炸式增长，超过8000亿个选项。 相反，竞争对手可以结合逆向工程、开源研究和假设来减少组合的数量。
比赛结束后，组织者给出了帮助参赛者解决作物2挑战的提示。 一些关键提示包括使用开源研究来确定像素颜色可能是由matplotlib默认颜色映射生成的。 这大大减少了数十万的搜索空间。
通过做出这些有根据的假设，一位竞争对手最终能够达到 作物2挑战解决方案 伟大的黑客的一个特点是坚韧：比赛结束后，这位竞争对手仍在孜孜不倦地工作，努力完成提供的提示。 竞争对手报告说，一个提示“帮助我意识到我们只需要使用九种颜色。伙计，我一直在摆弄1600万种颜色。这使得搜索空间易于管理。”
竞争对手笔记本电脑 看看我们最喜欢的竞争对手的笔记本：
克里斯·德奥特 –来自 NVIDIA（KGMoN）的Kaggle大师 ，这些解决方案都经过了很好的组织和记录。 我们特别推荐秘密懒惰。 埃里克·布泰隆 –观察国旗在Excuse Me中逐个字符出现。还要注意数学挑战的不同解决方法。 你听说过吗 轮廓得分 ? 约翰·麦克吉利夫雷 –John推断，热狗模型基于MobileNet，可以进行离线攻击。 伟大的贸易手艺。 福涅普 –关于推理挑战的模型反转的全面写作，从头开始。 您还可以查看 对抗稳健工具箱中的MIFace . 伊万·O –了解如何解决作物2挑战。 3000多名参赛者在一个月的大部分时间里试图解决这个问题。 比赛结束后的第二天，组织者发布了几条提示。 几小时内，问题就解决了。 比赛结束后，很高兴看到所有参赛者在Discord和Kaggle讨论板上合作。 总结 AI Village CTF@DEF CON 30竞赛表明，安全和数据专业人士都对提高机器学习安全技能有着浓厚的兴趣。 随着ML系统部署在越来越关键的安全环境中，培训专业人员并开发用于安全开发、部署和测试的工具和方法将成为当务之急。
从嵌入式设备和笔记本电脑到超级计算机和云计算，NVIDIA将通过强大而安全的人工智能生态系统继续推动创新。 作为这项工作的一部分，我们的AI红色团队将在内部授权ML安全研究和测试，并在整个行业建立安全实践。 未来，我们将举办竞赛、研讨会，并发布研究和安全工具。 如果您有兴趣参与，请通过联系我们 threatops@nvidia.com .
其他资源
