⾃ChatGPT发布的近18个月以来，⽹络罪犯们已经能够利⽤⽣成式AI进⾏攻击。OpenAI在其内容政策中制定了限制措施，以阻⽌⽣成恶意内容。作为回应，攻击者们创建了⾃⼰的⽣成式AI平台，如 WormGPT和FraudGPT，并且他们还分享了如何绕过这些限制以实现对ChatGPT的“越狱”。

事实上，整个⽹络犯罪论坛上都在讨论如何将AI⽤于非法⽤途。
 

整个⽹络犯罪论坛都在讨论“⿊暗AI” (Dark AI)

⼀般来说，当⽹络罪犯想要将ChatGPT⽤于恶意⽬的时，他们会尝试利⽤精⼼设计的提⽰（即“越狱提⽰”），以 绕过ChatGPT内置的安全措施和道德准则。ChatGPT的越狱涉及对AI语⾔模型进行操控，以⽣成在标准对话中通常不会产⽣的内容。 

虽然不使⽤“越狱”提⽰也有办法可以让ChatGPT⽣成可以⽤于非法⽤途的内容（可以通过假装请求是⽤于合法⽤途来实现），但在这⽅⾯，AI的能⼒相当有限。 
 

相比之下，对于⽹络罪犯来说，越狱ChatGPT并故意让其⽣成非法内容要更加容易。下⾯，我们将介绍⽹络罪犯正在使⽤的五⼤越狱提⽰。这些提⽰是通过对流⾏的俄语和英语⽹络犯罪论坛进行研究和定期监控⽽确定的。 

即使有以下这些越狱提⽰，AI⽣成的内容仍然会受到限制，并且它⽆法⾃⾏⽣成现实世界中的敏感数据。尽管如此，以下每个提⽰都使⽹络罪犯能够⼤规模创建钓⻥消息、社会⼯程威胁和其他恶意内容。 

在⽹络犯罪论坛中分享的开发模式提⽰的⽰例

在⽹络犯罪论坛中分享的AIM提⽰的⽰例

在⽹络犯罪论坛中分享的BISH提⽰的⽰例

最后⼀点说明：我们不⽀持对包括ChatGPT在内的各种真正的聊天机器⼈的恶意使⽤。值得⼀提的是，这些提 ⽰中的⼤多数在最新版本的ChatGPT上不会有任何作⽤。这主要是因为负责（开发）这些聊天机器⼈的公司， 如OpenAI和Anthropic，会积极监控⽤户活动，并迅速应对这些越狱提⽰。 

通过以上呈现的各类提⽰可以看出，犯罪分⼦正持续不断地寻找新的⽅法，以利⽤⽣成式AI来发动攻击。为了 保护⾃⼰，组织也必须在防御策略中使⽤AI，因为近97%的安全专业⼈⼠认为传统的防御措施⽆法应对这些由 AI⽣成的新的威胁。 

我们已经到了只有AI才能阻⽌AI的地步。在这种情况下，防⽌这些攻击及它们的新⼀代变体，需要采⽤AI原⽣的防御措施——尤其是在应对电⼦邮件攻击时。通过了解组织内部⼈员的⾝份及其正常⾏为、通信环境以及电⼦邮件的内容，AI原⽣的解决⽅案可以检测出绕过传统解决⽅案的攻击。安全领导者必须立即采取⾏动以防⽌ 这些威胁，这样才有机会在这场AI“军备竞赛”中取得胜利。