什么是对抗性机器学习 （AML）？AML 是对数据或代码进行有目的的操作，以导致机器学习 （ML） 算法出现故障或出现错误预测。AML 的一个流行例子来自 Google 的一个团队，他们在 GoogLeNet 上进行了一项实验，GoogLeNet 是一种卷积神经网络架构，在 2014 年赢得了 ImageNet 大规模视觉识别挑战。该程序可以更高度地预测图像是否是长臂猿。这种类型的操作相对容易执行，只需在原始算法中插入几位代码即可。

　　资料来源： 解释和利用对抗性示例，Goodfellow 等人，ICLR 2015。

　　在论文“大规模对抗性机器学习”中，Alexey Kurakin、Ian Goodfellow 和 Sam Bengio 强调机器学习模型通常容易受到对抗性操纵，最重要的是，许多机器学习算法非常容易受到基于模型的小修改或输入的攻击。AML 的核心是利用 ML 基础设施的高度脆弱性来改变预测。AML 技术的列表越来越多，但其中大多数攻击都有可能未被发现。一些研究人员正在关注更有效的方法来对 ML 程序进行 AML 攻击或微调他们的技术。其他人则专注于提高其 ML 算法的鲁棒性。例如，当算法必须针对“真实世界”数据执行时，算法的性能指标会降低。研究人员有目的地使用一些 AML 技术来提高其 ML 算法的鲁棒性，以便模型可以处理它在现实世界中可能遇到的自然扰动。一些研究致力于识别和防御 AML 攻击。例如，DARPA 有一个名为“保证 AI 鲁棒性反欺骗”的研究机构（GARD ） 是一个框架，组织可以使用它来识别系统漏洞、表征将增强系统健壮性的属性，并鼓励创建有效的防御。与 ML 一样，AML 世界并不新鲜，但由于技术进步，AML 社区每天都有重大发现。这使美国国防部 （DoD） 处于有利地位，可以利用 AML 社区已经进行的研究并创建 AI 红队。仍有一些挑战必须首先解决。

　　美国国防部正在积极努力缩小国防与工业之间人工智能 （AI） 和机器学习方面的技术差距，因为商业行业处于领先地位。美国人工智能国家安全委员会在其最近发布的报告中提出了三个重要观点。 首先，要让军方在人工智能和机器学习方面保持竞争优势，美国国防部技术采购流程和文化思维需要发生重大转变。其次，美国国防部必须到 2025 年“准备好人工智能”，但缺乏这样做所需的数字劳动力和技术人才。第三，反洗钱是一种真正的威胁，但决策者并未将其列为优先事项。这三个发现是美国国防部应考虑创建 AI 红队的关键。

　　解决美国国防部 AI 和 ML 算法存在的漏洞将是 AI 红队的主要任务，但随着团队的成熟，它可能还会提供其他功能。首先，该团队将负责评估、演示和推荐可提高美国国防部算法稳健性的行动。有了专门的 AI 红队，美国国防部将有一个中央团队来解决和评估 AI 和 ML 漏洞。在短期内，这个团队很可能会严重依赖研究社区和行业合作伙伴，但美国国防部必须从某个地方开始。通过建立 AI 红队，它为 AML 合作伙伴关系提供了一个国防部联络点。这将包括全国的研究实验室、外国合作伙伴、其他联邦机构和学术机构。随着研究和学术界在人工智能、机器学习和对抗性机器学习领域不断取得惊人的飞跃，美国国防部将在谈判桌前占有一席之地，分享想法、新 TTP 和项目合作伙伴。此外，美国国防部将能够缩小其队伍中的培训和专业知识差距。虽然该团队最初可能因缺乏技术专长而陷入困境，但他们的运营专长仍然有助于了解 AML 攻击可能造成的运营影响。

　　在短期内，国防部可能不得不依靠外包 ML 和 AI 人才，但在专门处理 AML 问题集的任务后，由运营专家和经验丰富的技术专业人员组成的联合团队将迅速开发必要的 AI 和 ML 技能集。不难看出未来，美国国防部人工智能红队的选择将变得类似于申请空军武器学校或初级密码学职业。最后，重要的是该组织是由美国国防部领导、国防部赋予任务、国防部派出人员，以及国防部具有创建和执行权力，因为战争的某些部分不应外包或承包。通过建立人工智能红队，它为美国国防部提供了一支通过战争视角专注于人工智能、机器学习和反洗钱的部门。创造的工具和技术，培养的人才，解决的问题，所创造的成果将受到国防领域的推动。在 AI 和 ML 方面，美国国防部让行业处于领先地位。当谈到反洗钱时，美国国防部必须得到作为国家安全的授权。

　　Rena DeHenre 是美国空军的一名情报官员。她最近在 MIT-Lincoln Labs 完成了研究奖学金，她专注于 AML 及其在网络领域的影响。她现在是高级航空航天学院的一名学生。