DEF CON31黑客大会焦点：破解AI模型

在科技巨头们如雨后春笋般密集发布人工智能模型时，白宫发出警告，要求人工智能企业与网络安全社区紧密合作，公开测试大语言模型的安全漏洞，提高人工智能模型的安全性。

今年五一劳动节人工智能教父Geoffrey Hinton宣布从谷歌辞职，发出了迄今最权威的人工智能风险警报，这使得网络安全问题迅速成为人工智能行业的关注焦点。

主流AI大模型将接受顶级黑客“检阅”

Hinton最关心的是人工智能在文本、视频和图像中产生人类质量内容的能力，以及不良行为者如何利用这种能力来传播错误信息和虚假信息，从而使普通人“无法再知道什么是真实的”。但人工智能的安全漏洞同样可怕，可被坏人利用实施难以估量的破坏性攻击（编者：业界最近讨论的话题之一：错误信息本身是否就是一种恶意代码）。

近日，Anthropic、Google、Hugging Face、Microsoft、NVIDIA、OpenAI和Stability AI多家人工智能巨头表示将在今年的DEF CON黑客大会上开放模型供与会者进行渗透测试，查找漏洞。

值得注意的是，人工智能大模型集体亮相DEFCON黑客大会是美国政府加强人工智能安全监管的结果，上周美国副总统哈里斯就人工智能安全性问题在白宫约谈了包括谷歌、微软、OpenAI在内的人工智能巨头。白宫计划投入140亿美元建设七个人工智能研究机构，同时将在今年夏天发布人工智能应用指南。

一位不愿透露姓名的高级政府官员向CyberScoop透露，此次DEFCON的AI红队活动是首次公开评估大型语言模型。“DEFCON的红队活动在识别漏洞方面非常有帮助且非常成功，”这位官员说：“这正是现在大语言模型最迫切需要的。”

这不是华盛顿首次邀请DEF CON白帽黑客社区寻找关键新兴技术的弱点。美国空军曾在DEF CON大会举行夺旗比赛，让黑客测试卫星系统的安全性，DARPA也曾在DEF CON测试过投票系统安全性。

AI大模型的“黑箱”风险

近年来，机器学习的迅猛发展催生了一大批生成式AI工具，许多人工智能专家担心公司急于将新产品推向市场，没有妥善解决安全问题。

机器学习的进步历来发生在学术界和开放研究团队中，但越来越多的人工智能企业向公众关闭他们的模型，这使得独立安全研究人员更难检查潜在的漏洞。

“传统上，公司通过专门的红队来解决这个问题。然而，这项工作在很大程度上是私下进行的，”AI Village创始人Sven Cattell在一份声明中说：“在更多人知道AI企业的红队如何评估模型之前，AI模型的各种安全问题将无法解决。”

目前已知的人工智能大语言模型带来的风险包括：

制造和传播虚假信息、编写恶意软件、创建网络钓鱼电子邮件、向公众提供以前难以公开获取的有害知识，例如如何制造毒品、难以测试的偏差（歧视）、意想不到的模型属性的出现，以及行业研究人员所说的“AI幻觉”——人工智能模型对没有现实基础的查询给出自信的响应。

据悉，今年的DEF CON人工智能漏洞搜寻活动将基于Scale AI开发的AI评估平台，Scale AI是一家为AI应用程序提供培训的加利福尼亚公司。参与者将获得用于攻击AI模型的笔记本电脑，发现的任何漏洞都将按照行业标准进行披露。