ChatGPT被用来开发勒索软件和钓鱼邮件

从撰写钓鱼邮件到编写勒索软件代码，ChatGPT能帮助任何用户（即便没有代码编写和社会工程技能）开展有效的、大规模的网络犯罪活动。

自OpenAI于11月底推出ChatGPT以来，各方专家密切关注人工智能内容创作将产生的影响，尤其是在网络安全领域。事实上，已经有许多安全研究人员担心生成式人工智能技术会使网络犯罪大众化。

最近有专家发现，任何用户都可用ChatGPT生成恶意代码和以假乱真的网络钓鱼电子邮件，而无需任何编码知识和犯罪经验。

虽然企业安全团队也可以将ChatGPT用于防御目的，例如测试代码，但由于大大降低了网络攻击的门槛（例如漏洞PoC利用），ChatGPT这样的内容生成AI无疑使企业和个人面临的威胁形势变得更加复杂。

AI打开网络犯罪的潘多拉盒子

从网络安全的角度来看，OpenAI内容生成AI带来的核心挑战是：任何人，无论技术专长如何，都可以开发代码按需生成恶意软件和勒索软件。

“正如它（ChatGPT）可以用于帮助开发人员永久编写代码一样，它也可以（并且已经）用于恶意目的。”Tanium的端点安全专家总监Matt Psencik说。

“我已经看到几个例子，安全研究人员要求机器人创建令人信服的网络钓鱼电子邮件或协助逆向工程代码以找到可能被恶意使用的零日漏洞，而不是将它们报告给供应商。”Psencik说。

尽管如此，Psencik指出ChatGPT确实有内置的“护栏”，旨在防止被用于犯罪活动。

例如，它将拒绝创建shell代码或提供有关如何创建shellcode或建立反向shell的具体说明，并标注网络钓鱼等恶意关键字以阻止请求。

这些保护措施的问题在于，内容生成AI的反滥用机制基于“AI的良心”——依赖AI自己识别用户编写恶意代码的意图（用户可以精心设计查询来混淆这些代码的真实用途），而且违反OpenAI容政策不会立即产生（惩罚性）后果。

用ChatGPT开发勒索软件和钓鱼邮件

虽然ChatGPT推出时间不长，但安全研究人员已经开始测试其生成恶意代码的能力。例如，Picus Security的安全研究员兼联合创始人Suleyman Ozarslan博士最近不仅使用ChatGPT来创建网络钓鱼活动，还为MacOS创建勒索软件。

“我们从一个简单的练习开始，看看ChatGPT是否会创建一个可信的网络钓鱼活动，它确实做到了。我输入了一个提示，要求编写一封以世界杯为主题的钓鱼电子邮件，用于模拟网络钓鱼，它在几秒钟内就创建了一封，而且使用了完美的英语（编者：语法错误是用户识别钓鱼邮件的一个重要指标）。”Ozarslan说。

在这个例子中（上图），Ozarslan声称自己是一家攻击模拟公司的安全研究员，希望开发一种网络钓鱼攻击模拟工具，从而“说服”ChatGPT生成了一封网络钓鱼电子邮件。

虽然ChatGPT认识到“网络钓鱼攻击可用于恶意目的，并可能对个人和组织造成伤害”，但它仍然在一番说教后“勉为其难”地生成了电子邮件。

随后，Ozarslan提出了更为“过分”的要求，让ChatGPT用Swift编写代码，在MacBook上找到Microsoft Office文件并通过HTTPS将它们发送到Web服务器，然后再加密MacBook上的Office文件。ChatGPT这次爽快地生成了可用的示例代码，甚至没有给出任何安全警告或提示。

Ozarslan的研究表明，网络犯罪分子可以轻松地绕过OpenAI的保护措施，例如将自己定位为研究人员，以此掩盖他们的恶意意图。

GoUpSec的编辑人员尝试复现Ozarslan的工作，但发现ChatGPT已经修订规则，不再就Ozarslan的问题给出有效的钓鱼邮件样本，于是尝试了新的绕过策略并取得了成功（下图）：

攻守失衡

虽然ChatGPT确实为安全团队带来了积极的好处，但也大大降低了网络犯罪分子的进入门槛，很有可能加速威胁环境的复杂性。

例如，网络犯罪分子可以使用人工智能技术来大规模生产网络钓鱼内容，这将导致安全团队不堪重负，而犯罪分子只需成功一次就可以造成数据泄露和数百万美元的损失。

“在网络安全方面，ChatGPT可以为攻击者提供的东西比为防御者提供的多得多。”电子邮件安全提供商IRONSCALES的研发CVP Lomy Ovadia说。

“对于依靠使用欺骗性内容来冒充同事、公司VIP、供应商甚至客户的商业电子邮件泄露(BEC)攻击来说尤其如此。”Ovadia说。

Ovadia认为，如果CISO和安全领导者依靠基于策略的安全工具来检测使用AI/GPT-3生成的内容的网络钓鱼攻击，他们将被打败！因为这些AI模型使用高级自然语言处理(NLP)来生成诈骗电子邮件，几乎不可能与真实的邮件区分开来。

例如，今年早些时候，新加坡政府科技局的安全研究人员手动创建了200封钓鱼邮件，并与深度学习模型GPT-3创建的邮件的点击率进行比较，发现AI成的钓鱼邮件被用户点击的次数更多！

真正的挑战

虽然生成式人工智能确实给安全团队带来了新的威胁，但也产生了一些积极的用例。例如，安全分析师可以用ChatGPT在部署前检查开源代码中的漏洞。

“今天，我们看到有道德黑客使用AI来帮助编写漏洞报告、生成代码示例和识别大型数据集中的趋势。这就是说，当今AI的最佳应用是帮助人类做更多人性化的事情。”HackerOne的解决方案架构师Dane Sherrets说。

然而，试图利用ChatGPT等生成式AI解决方案的安全团队仍然需要确保充分的人工监督以避免潜在的问题。

“ChatGPT所代表的进步令人兴奋，但技术尚未发展到完全自主运行。要使人工智能发挥作用，它需要人工监督和一些手动配置，并且不能总是依靠绝对最新的数据和情报来运行和训练。”Sherrets说道。

出于这个原因，Forrester建议实施生成式AI的企业应该部署响应的治理工作流来管理AI生成的内容和软件，以确保其准确性，并降低发布存在安全或性能问题的解决方案的可能性。

毫无疑问的是，生成式AI（例如ChatGPT）已经打开了人工智能网络安全的潘多拉盒子。真正的风险或者说机遇在于：在防御性AI和进攻性AI的新一轮战争中，防御者和攻击者谁能更有效地学习并利用自动化技术快速提高自己的能力。