随着人工智能(AI)技术的快速发展及其应用场景的扩展,AI系统在带来创新机遇的同时也引入了新型网络安全风险。尽管AI系统本质上是软件,但其安全挑战与传统软件存在显著差异,且与底层IT基础设施的安全紧密关联。为应对这些风险,美国国家标准与技术研究院(NIST)基于《SP 800-53安全控制框架》,提出开发面向AI系统的安全控制覆盖层(Control Overlays for Securing AI Systems, COSAIS),旨在为不同AI应用场景提供可落地的安全实施指南。
《Agentic AI 红队测试指南》旨在应对智能体AI(Agentic AI)在安全性方面日益增长的挑战。智能体AI具备自主规划、推理、行动和学习能力,其高度自治性带来了全新的攻击面和风险模式,传统安全测试方法已难以覆盖。该指南由全球AI安全专家黄连金教授牵头编写,汇聚超过50位领域专家智慧,系统梳理了12类核心威胁,并提供可操作的红队测试框架与实践方法,帮助开发者和安全人员发现、评估并缓解智能体AI系统中的潜在风险,推动AI系统在复杂环境下的安全部署。