在变革性技术时代，生成式人工智能（GenAI）已成为一股强大的力量，重新定义了我们与数据和信息交互的方式。它释放了从内容生成到解决问题等各个领域的创新潜力。然而，利用 GenAI 的功能需要确保基于其构建的应用程序的安全性和完整性。

这篇博客深入探讨了对基于 GenAI 的应用程序进行安全架构审查的关键过程。它探索了 GenAI 技术的不断发展的前景、管理该技术的标准以及挑战其安全实施的威胁。此外，它还概述了执行架构审查的系统方法，提供了对参与启动、信息收集、风险分析等的见解。

这篇博客的目的是提供一个全面的指南，指导如何为由 GenAI 驱动的应用程序进行安全架构审查。在AI驱动的创新正在重塑行业并增强人类能力的时代，确保基于 GenAI 的应用程序的开发和部署遵循最高的安全性和完整性标准至关重要。

我们的旅程从对GenAI领域的基础理解开始，将其与传统的基于AI的应用进行区分。我们深入探讨与 GenAI 相关的独特挑战和风险，提供现实世界的示例并强调严格安全措施的迫切需要。

本博客的后续部分的结构如下：

我们面临的核心问题围绕着这个两难境地展开。一方面，我们迫切需要AI应用来推动效率和创新。另一方面，确保敏感数据的安全至关重要。我们发现自己需要一种健壮的评估方法、标准和流程，以便安全地将GenAI应用集成到我们的组织中。
 

今天，我们开始探索如何在利用AI的力量和保护我们的重要信息之间找到正确的平衡。

GenAI 和基于AI的应用程序之间的主要区别：GenAI 在几个基本方面区别于传统的基于AI的应用程序：

目的：传统AI应用程序模拟人类智能来执行特定任务，例如推荐系统或自动化。相比之下，GenAI 超越了任务,它生成训练数据。

输出：传统AI根据模式和数据提供逻辑响应。另一方面，GenAI 生成新颖的内容，无论是文本、图像还是其他形式的数据。

数据使用：传统AI利用数据做出明智的决策或建议。然而，GenAI 可能会无意中暴露敏感数据，使数据隐私成为一个严重问题。

应用领域：传统AI常见于推荐系统、流程自动化和数据分析。GenAI 擅长执行文本和图像生成、内容创建，甚至模仿类人对话等创造性任务。

企业利用此类模型为其客户提供量身定制的服务。它涉及部署内部大型语言模型（LLM）以提供个性化交互和解决方案。例子包括帮助顾客的聊天机器人或电子商务网站上AI生成的内容。

了解这些类别对于评估 GenAI 应用程序的安全影响至关重要，因为每一类模型都带来独特的挑战和风险。

在这种情况下，攻击者通过将从一个领域获得的知识转移到另一个领域来操纵AI模型。这可能会导致AI系统在应用于新任务时产生不正确或有害的结果。
 

了解这些威胁至关重要，因为它们对基于AI的产品和服务的安全性、隐私性和完整性具有深远的影响。为了有效减轻这些风险，组织必须采用强大的安全措施，并在面对不断变化的威胁时保持警惕。

使用AI生成法律文件或提供法律建议，会导致在出现错误或误导性内容时的责任确定变得复杂。法律上可能会出现歧义，组织必须谨慎应对这一情况。

GenAI 架构审查方法包括五个关键步骤：

吸收流程：首先启动吸收流程，收集有关正在审核的AI应用程序的基本信息。

威胁建模：识别特定应用程序的潜在威胁和漏洞。此步骤有助于了解安全状况。

安全控制审查：评估 AI 应用程序架构中的现有安全控制和措施。评估身份验证、授权、数据隐私和合乎道德的使用。

风险严重性评估：评估已识别风险和漏洞的严重性，以有效地确定缓解工作的优先顺序。

报告：在综合报告中总结调查结果和建议并与利益相关者分享。

GenAI 应用程序的内部架构通常遵循消费者、客户和员工这三种模型类型的通用模式。每重模型都包含三个关键组件：

前端：该组件通过网络框架促进用户交互，确保可访问性和用户友好性。

后端：支持 GenAI 应用程序的引擎包括大型语言模型（LLM）框架（如 Langchain）和著名的 LLM（如 OpenAI）。后端可通过 API 网关访问，是架构的关键部分。

基础设施：GenAI 应用程序托管在安全的环境中，形成必须有效实施安全控制和措施的基础设施。

前端控制：评估身份验证、访问控制、数据验证和响应清理，以确保强大的前端安全性。

后端控制：评估 LLM 框架和模型，以保护数据隐私、防止对抗性攻击并确保单租户模型的完整性。

基础设施控制：进行严格的验证，包括业务连续性规划（BCP）、灾难恢复（DR）和持续监控，以确保 GenAI 应用程序的安全性和弹性。

第1步：

参与启动：请求产品团队提交包含基本详细信息的审核票证以启动流程。

第2步：

范围界定和信息收集：进行桌面推演训练，集体讨论应用程序并提出从调查问卷中得出的问题。产品团队和信息安全团队在此步骤中共同承担责任。

第3步：

风险评估：利用 STRIDE 方法进行威胁建模、创建数据流图、识别潜在威胁、威胁代理并建立可信区。信息安全团队领导这一步。

第4步：

报告：总结调查结果并确定优先顺序，准备与利益相关者共享的报告。

第5步：

签署：根据调查结果批准或拒绝请求。如果没有严重或高度严重的问题，则批准；否则拒绝。

第6步：

例外/风险接受：如果无法解决已识别的问题，则会启动例外/风险接受流程，寻求相关利益相关者的同意。

第7步：

签署并接受例外/风险：所有利益相关者批准后，记录已接受的风险，并批准实施请求。

让我们深入研究两个现实世界的用例来说明实际的架构审查流程：

在这种情况下，产品团队表示有兴趣集成一个旨在协助电子邮件起草的 GenAI 电子邮件插件。安全架构审查流程如下：

参与启动：信息安全团队通过请求产品团队创建包含高级信息的审核票证来启动参与。

范围界定和信息收集：桌面推演训练显示，供应商为电子邮件插件选择的LLM是多租户的。这一发现引发了人们对数据安全的担忧。

风险评估：进行了全面的风险评估，包括数据流图。它确定了与多租户 LLM 模型相关的一个严重发现，该模型可能会损害数据安全。结果，请求被拒绝。

在这种情况下，产品团队表达了将 GenAI 私人聊天机器人集成到他们的系统中的愿望。安全架构审查流程如下：

范围界定和信息收集：在桌面推演训练中，我们发现供应商为聊天机器人选择的 LLM 是单租户，这是一种安全优势。此外，该应用程序具有强大的输入验证和输出清理措施，以确保用户提示的安全性和完整性。

风险评估：进行了彻底的风险评估，并提供了描绘资产、潜在威胁主体和可信区的数据流图。由此产生的报告提供了一份干净的健康清单，其中严重和重要发现的数量为零，从而导致产品团队的请求获得批准。

这些现实世界的用例突出了安全架构审查流程的实际应用，展示了它如何有效地评估和保护 GenAI 应用程序。

随着组织接受AI的采用，特别是 GenAI，建立坚实的安全基础至关重要。以下是确保基于AI的产品和服务成功的七个基本支柱：

基础设施安全：正如我们保护物理空间一样，组织也必须确保其数字基础设施的安全。这包括网络安全、数据中心安全和云安全。

身份和访问管理（IAM）：IAM 拥有安全团队的功能，确保只有经过授权的个人才能访问数字资产。实施强大的 IAM 策略和控制对于数据保护至关重要。

数据安全：数据通常是最有价值的资产。通过加密、访问控制、数据屏蔽和定期审核来保护其免遭盗窃或损坏。

应用程序安全：通过防止未经授权的访问和数据泄露来保护AI应用程序。实施安全措施，例如代码审查、漏洞评估和安全编码实践。

日志记录和监控：通过实施全面的日志记录和监控解决方案来建立一个警惕的数字看守者。及早发现异常和威胁对于快速响应至关重要。

事件响应：制定事件响应计划来为紧急情况做好准备。定义发生安全事件时的角色、职责以及要采取的操作。

治理：为组织内的 AI 使用创建规则手册。确保AI的使用安全、合乎道德以及符合法规和行业标准。

保障AI的采用：在当今的数字环境中，保障AI的采用不是一种选择，而是一种必然。当组织在不断变化的AI领域中前行时，保持主动、警惕和安全至关重要。这七个支柱中概述的建议为保护AI技术领域的组织提供了强大的盾牌。

在这篇综合博客中，我们探讨了对基于AI的产品和服务进行安全架构审查的关键方面，特别关注生成式人工智能。从了解独特的挑战和威胁到提出有效的解决方案和建议，我们为组织提供了导航AI安全采用的复杂性的路线图。

随着AI不断改变行业并推动创新，组织必须坚定地履行对安全的承诺。本博客中概述的主动措施对于保护敏感数据、确保符合道德的AI使用以及防范不断变化的威胁至关重要。

总之，AI的成功之路始于强大的安全基础。通过遵循本白皮书中概述的原则和策略，组织可以利用人工智能的变革力量，同时保持最高的安全性和完整性标准。