OpenAI等机构发布《人工智能恶意使用》报告，利用AI来犯罪只是时间问题

本文作者： camel

编辑：郭奕欣

2018-02-25 10:56

导语：人工智能研究人员在开发新应用程序时需要考虑安全因素；否则罪犯就会利用这项技术

雷锋网 AI 科技评论按：本周，OpenAI 、牛津大学、剑桥大学等14家机构和高校共同发布了一份《人工智能恶意使用》报告，该报告详细讲述了人工智能技术潜在的「恶意」用途，以及预防措施。

所谓有人在的地方就有江湖，人工智能作为一项技术，就像人类历史中所有的新技术一样具有两面性，有人拿它为全人类谋福利，也有人拿它做恶意活动。近年来，人工智能和机器学习的表现正以前所未有的速度提升，相应的技术要么已经被应用到日常生活中（例如机器翻译、医学影像分析等），要么正投入大量人力、物力进行研发（例如无人驾驶）。但是相比着应用的火热发展，一直以来人们却对人工智能技术的恶意使用缺乏足够的关注。

2017 年 2 月，牛津大学召开了一次为期两天的研讨会。在这次研讨会上，来自人工智能、无人机、网络安全、自主武器系统、反恐等各领域的众多专家汇聚一堂，藉着各自领域的经验和知识，共同探究了伴随着人工智能的发展可能带来的安全问题。

随后沿着这次研讨的思路，众多学者又工作了近一年的时间。雷锋网注意到，在本周二，来自 OpenAI 、人类未来研究所、牛津大学、剑桥大学等机构和高校的共 26 名学者在 arXiv 上发表了他们的研究成果报告《人工智能的恶意使用：预测、预防和缓解》（The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation）。

OpenAI等机构发布《人工智能恶意使用》报告，利用AI来犯罪只是时间问题

在准备阅读 101 页的报告内容之前，我们不妨先来看下报告的两位通讯作者 Miles Brundage 和 Shahar Avin 合写发表在 wired 的一篇浅显的介绍文章《利用AI来犯罪只是时间问题》（It's only a matter of time before criminals turn AIs against us）。作者认为，人工智能研究人员在开发新应用程序时需要考虑安全因素；如果他们不这样做，罪犯就会利用这项技术来做恶意活动。

OpenAI等机构发布《人工智能恶意使用》报告，利用AI来犯罪只是时间问题

利用AI来犯罪只是时间问题

有一天你接到一个陌生电话 - 一听原来是你女儿打来的，声音显得很恐慌而且语无伦次。她在旅行，丢了手机和钱包，她需要帮助，需要你给她寄些钱。你可能不是一个容易受骗的人，但这就是她的声音。

通过合成语音且能多轮对话的诈骗技术可能还没有出现，但是现在全球范围内已经有一千多个家长收到了他们自己的个性化电子邮件和语音邮件。犯罪分子利用算法抓取了社交媒体上的视频和照片，并创建了针对性很强的定制消息，甚至合成受骗者亲人朋友的声音。这些都是使用人工智能以最低的人力成本完成的。

OpenAI等机构发布《人工智能恶意使用》报告，利用AI来犯罪只是时间问题

人工智能最近取得了重大进展，但不幸的是这也使得上述情景变得越来越合理。正如这篇报告所指出的人工智能技术是「双重用途」，虽然它将以多种方式使社会受益，但它也将会被恶意使用。犯罪分子、恐怖分子和流氓国家将利用这些强大的工具来危害人们的日常生活。因此我们必须要更加系统地去探索如何预测、预防和缓解这些恶意用途的方法。

其实，人工智能的恶意使用不仅仅是威胁到人们的财产和隐私——可能更令人担忧的是，它会威胁到人们的生命。无人机和其他网络物理系统（如自动驾驶车辆和智能医疗设备）的激增为恐怖分子、黑客和罪犯提供了非常诱人的目标和工具。可能的情况包括利用自动驾驶汽车制造车祸，或将便宜的商业无人机改造成面部识别导弹。

另一方面，人工智能也可能会影响政治安全。最近美国特别顾问罗伯特·穆勒的起诉书就指称，俄罗斯有一个80多人的全职专业团队破坏2016年美国总统选举。

当专业的网络钓鱼能发布廉价、高度可信的虚假视频时会发生什么？现在已经有工具可以从原始音频文件中创建假视频，也有一些工具可以让我们合成听起来像某个人的假音频。将两者结合起来，就可以创建完全虚假的新闻视频。如果他们能够使用基于「强化学习」和其他 AI 方法的技术来控制一大批半自主机器人程序会发生什么？如果他们能够通过廉价的个性化宣传精确地针对目标人群，又会发生什么？那么可能一个 8 人的钓鱼团队充分利用人工智能将能够发挥 8000 人的水平。

面对这些新兴的风险，我们并不是无可奈何的，但我们需要承认这些风险的严重性并采取相应的行动。这需要决策者与技术研究人员密切合作，调查、预防和缓解人工智能的潜在恶意用途。

当涉及到人工智能的道德影响时，AI 研究人员和公司已经在思考和承担相应的责任。已经有成千上万的人签署了一封要求强健、有益的人工智能的公开信。AI 公司也正在通过人工智能合作伙伴关系（Partnership on AI）开展合作。此外，也逐渐地出现了一些道德标准，例如 Asilomar AI Principles 和 IEEE Ethically Aligned Design。这种责任文化在安全方面显然需要继续下去并得以深化，而不仅仅是现在占据主要篇幅的无意伤害问题（例如安全事故和偏见）。

人工智能研究人员和雇用他们的组织处于塑造新兴安全领域的独特位置。这需要他们去探索一系列解决方案，可能这些方案会让当今的学术文化圈感到不舒服，比如推迟某些技术的出版，以便开发相应的防御措施，这在网络安全领域更为常见。

当然，我们需要考虑一些更为棘手的问题：什么样的人工智能研究更容易被恶意利用？需要开发哪些新技术来更好地抵御可能的攻击？哪些机构和机制可以帮助我们在最大限度地利用人工智能的好处与最大限度地降低安全风险之间取得适当的平衡？也许我们越早解决这些问题，上面的电话欺骗场景就越不可能成为现实。

报告内容提要

报告《人工智能的恶意使用：预测、预防和缓解》调查了恶意使用人工智能技术可能带来的安全威胁，并提出了更好的预测、预防和缓解这些威胁的方法。报告中详细分析了 AI 可能在数字安全、物理安全、政治安全等方面带来的威胁，随后还为 AI 研究人员和其他利益相关者提出了四项高层次的建议。此外，在报告中还提出了几个有发展前景的领域，以便进一步的研究，从而能扩大防御的范围或者使攻击效率降低/更难执行。在报告的最后，作者还分析了攻击者和防御者之间的长期平衡问题，不过并没有明确地解决这个问题。

作者在报告中，不无担忧地说：如果没有制定出足够的防御措施，我们可能很快就会看到究竟哪类攻击会先出现了。

下面我们将给出这篇报告的内容提要。

AI 安全格局

随着AI性能变得越来越强大和广泛，我们预计越来越多 AI 系统的使用将会导致以下安全格局的变化：

扩大现有安全威胁。通过可扩展地使用AI系统来完成通常需要人力、智力和专业知识的任务，攻击的成本会大大的降低。一个自然的结果就是扩大了能够进行特定攻击的人群范围，提升了执行这些攻击的速度，增加了可攻击的潜在目标。
引入新的安全威胁。通过使用 AI 系统，新的安全攻击可以完成对人类攻击者来说不可能完成的任务。另外，安全维护人员开发的 AI 系统漏洞也会给恶意攻击者带来新的可乘之机。
改变安全威胁的典型特征。我们有理由认为伴随着AI应用的快速发展，安全攻击将会高效、有针对性、难于归因且难以防守，这将在很大程度上改变传统网络安全的典型特征。

三个安全领域

报告中详细分析了三个安全领域（数字安全、物理安全和政治安全），并通过一些代表性的例子说明了在这些领域中可能发生的安全威胁变化。

数字安全。传统的网络攻击任务中，攻击规模和攻击效率之间往往不能两全，使用AI来执行这些任务将很大程度上消除现有的折衷，这将扩大与劳动密集型网络攻击（如鱼叉式网络钓鱼）相关的威胁。此外还会出现利用人类弱点（例如通过使用语音合成进行冒充）、现有软件漏洞（例如通过自动黑客攻击）或 AI 系统的漏洞（例如通过对抗性样本和数据下毒）等的新型安全攻击。

（ImageNet 基准测试图像识别的最新进展。图表（2017年8月25日检索）来自电子前沿基金会的 AI Progress Measurement 项目）

（GANs 合成人脸，图片分别来自 Goodfellow et al. (2014), Radford et al. (2015), Liu and Tuzel (2016), and Karras et al. (2017) 等论文）

物理安全。使用 AI 来自动执行与无人机或其他物理系统（例如部署自主武器系统）攻击有关的任务，这将会扩大与这些攻击相关的威胁。此外，使用 AI 也可能会导致出现新型的攻击，包括破坏网络物理系统（例如导致自动驾驶车辆崩溃）、远程入侵物理系统（例如使用成千上万的微型无人机）。
政治安全。使用 AI 来自动化监测（例如分析大量收集的数据）、说服（例如创建有针对性的宣传）、欺骗（例如修改视频），可能会扩大与侵犯隐私和操纵社交相关的威胁。此外，新型的攻击可能利用AI逐渐提升的能力，在现有数据的基础上分析人类的行为、情绪、信仰等，这些将会对专制国家带来很大的威胁，但不可否认也将威胁民主国家（例如能否维持公开辩论的真实性）。

四项高层次建议

针对不断变化的威胁环境，我们提出了四项高层次的建议：

密切合作。决策者应与技术研究人员密切合作，调查、预防和缓解人工智能的潜在恶意用途。
认真对待。人工智能领域的研究人员和工程师应认真对待他们工作的双重用途，在研究和开发中允许误用相关考虑因素能影响研究/开发的重点和规范，并在有害应用可预见时主动与相关行为者接触。
制定方案。应在研究领域用更多成熟的方案来确定最佳实践方法来解决双重用途问题（像解决计算机安全一样）以及哪些地方能够应用 AI。
扩大讨论范围。积极寻求扩大参与讨论这些挑战的利益相关者和领域专家的范围。

探索未决问题和潜在干预措施

除了上面列出的高层次建议之外，我们还建议在四个优先研究领域探索几个未决问题和潜在干预措施：

与网络安全社区共同学习。 在网络安全和人工智能攻击的交叉领域，我们强调需要探索并潜在实施红队联盟（red teaming）、形式化验证、AI 漏洞负责任的披露、安全工具和安全硬件。
探索不同的开放模式。随着 AI 和 ML 的双重用途性质变得越来越明显，我们强调有必要围绕研究的开放性重新设计规范和制度，首要进行的包括特别关注的技术领域预印本风险评估、中心访问许可模式、有利于安全和保障措施的共享制度以及其他双重用途技术的相关经验。

OpenAI等机构发布《人工智能恶意使用》报告，利用AI来犯罪只是时间问题

（随着开放内容的增加，使用 AI 的技能要求越来越低）

促进责任文化。人工智能研究人员和雇用他们的组织处于一种独特的位置，他们将塑造人工智能世界的安全格局。我们强调教育、道德声明和标准、框架、规范和期望的重要性。
发展技术和政策解决方案。 除了上述内容，我们还调查了一系列有前景的技术以及政策干预措施，这些技术可以帮助我们建立一个更安全的 AI 未来。进一步的高级领域的研究包括隐私保护、AI 公共安全的协调使用、AI相关资源的监管以及其他的立法和监管响应。

提议的干预措施不仅需要人工智能研究人员和公司关注和采取行动，还需要立法人员、公务人员、监管机构、安全研究人员和教育工作者对此的关注以及行动。挑战是艰巨的，风险是高昂的。

文中彩蛋

今天早上，报告作者 Miles Brundage‏ 教授发推文说——

OpenAI等机构发布《人工智能恶意使用》报告，利用AI来犯罪只是时间问题

Miles Brundage‏：就不信有人能发现《AI恶意使用报告》中的彩蛋；谁发现，我就给谁买一杯咖啡，或者发一个鱼叉钓鱼邮件，你自己选择吧~

Abhishek：有暗示吗？

OpenAI等机构发布《人工智能恶意使用》报告，利用AI来犯罪只是时间问题

Miles：有，两个。

Brubbo：难道是隐藏了一张对抗图像？

OpenAI等机构发布《人工智能恶意使用》报告，利用AI来犯罪只是时间问题

Miles：猜的好，不过不是。

Rob：你不会让我花一星期时间里重读这101页报告吧？/(ㄒoㄒ)/~~

OpenAI等机构发布《人工智能恶意使用》报告，利用AI来犯罪只是时间问题

Miles：把报告再读一遍也值一杯咖啡。：)

然而聪明、细心、又具挑战精神的人从来都不缺。不到六个小时，就有人从101页的报告中找出了Miles教授说的神神秘秘的彩蛋。

OpenAI等机构发布《人工智能恶意使用》报告，利用AI来犯罪只是时间问题

雷锋网注：Miles Brundage 和 Shahar Avin 是本报告的两个主要作者，分别来自牛津大学人类未来研究所和剑桥大学存在风险研究中心；Murray 为伦敦皇家理工学院教授，并担任 DeepMind 的高级研究科学家。P27 和 P28 页为报告中针对物理安全和政治安全假象的两个安全威胁案例。