首页   >  关于我们   >  新闻中心   >  合规应用背后的失控 AI:如何治理 SaaS 技术栈中的智能体
返回
合规应用背后的失控 AI:如何治理 SaaS 技术栈中的智能体
  • 2026.10.16
  • 464

CRM(客户关系管理系统)界面弹出一个闪亮图标。IT部门从未部署过该组件。销售客户经理(Account Executives)开始使用它,自动梳理总结其负责客户续约风险;与此同时,服务台不断收到工单,询问该组件是否被允许使用。但安全团队无法提供任何基于事实的答案。

 

这已经成为如今企业 SaaS 环境中的常态。2024 年 7 月,Zoom 仅给管理员4 天时间选择退出(opt out),否则 AI Companion 将自动启用。Microsoft 365 Copilot 则会在租户(tenant)拥有至少一个付费许可证后,自动在管理员中心对所有管理员开启。2026 年 4 月,Google Workspace Intelligence 上线,Gemini 默认连接 Gmail、Drive、Chat 和 Calendar,而配套的管理员控制能力的推出却比特性能晚最多 72 小时才上线。

 

直接关闭这些 AI 功能并不现实。它们已深度集成到员工每天使用的工具中,并且确实能够带来巨大的生产力提升。因此,对于安全团队来说,真正的问题不是:“如何禁止员工使用 AI?”而是:“当员工开始使用这些 AI 功能后,会发生什么?”

 

包括:

• 员工会向 AI 助手输入什么内容?

• AI 会从企业应用中读取哪些数据?

• AI 接下来会执行什么操作?

 

一次简单的租户检查(tenant review)只能告诉你:某个 AI 功能是否已经开启。但它无法告诉你:今天早上,一名销售工程师是否已经把客户的安全问卷粘贴到了 AI 助手这类行为。

 

01
AI 正在进入你已经批准使用的应用中

过去 18 个月里,几乎所有主流 SaaS 平台都在产品内新增 AI 能力。

例如:Microsoft 365 推出了Copilot ;Salesforce 推出了Einstein 和 Agentforce ;Slack、Zoom、Atlassian、Notion、ServiceNow 和 HubSpot 等平台也都推出了自己的 AI 助手。

 

第三方风险管理流程只会在采购阶段对这些应用进行过一次审批。该审核会明确:应用可以存储哪些数据;由谁负责处理这些数据;该应用可以执行哪些操作。

 

但 AI 功能的加入,会同时改变这三个方面。例如:Slack AI 会读取消息历史,用于生成总结。这类AI能力并不会走采购审批流程。他们以产品更新的形式推送,大多默认开启,不少应用中普通用户就可以手动启动。即便有通知,也仅仅是版本发布说明(release note)或者应用内弹窗,留给企业的准备时间仅有短短几天。

 

但企业原有的安全审查记录,只描述了这个应用过去的状态。现有流程中,并没有任何机制提醒相关人员:“这个应用已经发生变化,需要重新进行风险评估。”此外,不同产品的默认配置也存在一些容易被忽视的差异。例如:ChatGPT Enterprise 默认关闭连接器(connectors);ChatGPT Business 默认开启连接器。

 

如果 Zoom 租户保持默认配置,则可能会:自动录制会议;生成会议转录文本;生成 AI 摘要;保存聊天记录长达两年。在实行“双重同意”(two-party consent)的地区,这会引发一个问题:AI 生成的会议摘要是否也属于录音?同时,每一份被保存的会议转录文本,都会增加企业在电子取证(e-discovery)中的风险暴露。

 

02

当 AI 进入 SaaS 后,威胁模型发生变化

Gartner 预测,到 2026 年底,40% 的企业应用将包含面向特定任务的 AI Agent,而 2025 年这一比例还不到 5%。每一个 AI Agent 的加入,都会改变企业已经批准应用的风险态势。

 

1. 员工输入的提示词

这是最大的数据泄露渠道。员工为了获得更好的回答,可能会向 AI 输入:合同条款;客户信息;源代码;账号凭证。而这些内容都会被发送给AI模型。

 

2. AI 助手可检索的数据范围

AI 助手可能会从以下数据源中获取信息:邮件;文档;工单系统;客户记录。这意味着:过去多年积累的权限过度共享问题,可能变成:只需要向 AI 提出一个问题,就能够获取大量信息。

 

3. 员工授权的外部连接

员工可能会将 AI 助手连接到:Google Drive;邮箱;CRM 系统。同时,他们可能会批准范围过大的 OAuth 权限。这相当于:将原本不应该共享的数据交给了 AI 模型。

 

4. 模型推理得出的衍生信息

单独来看:一条客户投诉;一份价格表;一份内部预测数据;可能都没有明显风险。但是,当 AI 将这些信息汇总分析后,可能推断出重要结论。这里的问题是:没有人访问新的数据,但模型基于已有数据产生了新的洞察。

 

5. AI 生成的输出内容

AI 生成的:总结;草稿;建议;都是新的内容。但这些内容可能:没有明确负责人;没有安全标签;没有保留期限规则。即使原始数据受到限制,AI 生成的新内容也可能突破原有管理边界。

 

6. AI 执行的操作行为

一个只能帮助员工撰写邮件的 AI 助手,是一种数据风险。但如果 AI 可以:更新 CRM 数据;创建工单;发送消息;那么它就不再只是一个工具,而是:一个以员工身份执行操作的行为主体(actor)。

 

7. AI留下的数据痕迹

AI 输出本身也会成为企业业务记录。例如:Google Workspace 现在允许用户通过 Drive 分享 Gemini 聊天记录和 Canvas 内容。该功能默认开启,并且遵循现有 Drive 文件共享规则。因此:AI 治理最终也会成为企业记录管理(Records Management)的问题。

 

03

面向嵌入式 AI 的治理模型

治理的目标是明确:哪些 AI 功能可以被允许使用;这些 AI 功能可以访问哪些数据;哪些用户可以使用这些功能;并且持续验证这些规则是否始终有效。完全禁止所有 AI 功能,意味着企业将失去这些功能带来的生产力提升,而业务部门也不会长期接受这种做法。

 

1. 优先梳理数据敏感度最高的前 50 家供应商。

梳理每家供应商过去一年上线的所有 AI 功能,以及哪些用户可以启用这些功能。检查是否存在不熟悉的模型供应商应用的 OAuth 授权。同时向销售、市场、产品团队确认:他们的团队正在使用哪些 AI 功能。

 

2. 将 AI 功能上线纳入第三方风险重新评估触发条件。

类似于:数据泄露事件;新增子处理商(subprocessor);一旦 SaaS 平台上线新的 AI 功能,就应该触发重新安全评估。默认假设:下一项 AI 功能已经开启。

 

3. 按数据敏感度和操作行为对 AI 功能分级管控。

对于只读型 AI 功能:如果数据风险可接受,可以保持开放使用。

对于默认具有写入能力的 AI 功能:默认关闭;针对明确业务场景开放;指定具体负责人。

 

4. 复用企业已经采购的安全组件。

配置已有平台中的 AI 安全设置,例如:Microsoft Purview;Google Workspace DLP(数据防泄露);Salesforce Shield。同时:将管理员使用情况报告发送到 SIEM(安全信息与事件管理平台)中进行统一分析。

 

5. 为 AI 提示词设置安全护栏。

将 DLP(数据防泄露)能力扩展到用户输入的 Prompt 中。重点检测:账号凭证;客户数据;源代码;受监管数据。同时:检测 AI 助手读取内容中的提示词注入攻击(Prompt Injection);阻止高风险工具调用。

 

6. 在 AI 交互发生点留存审计证据。

记录:使用了哪个 AI 功能;哪个用户进行了操作;访问了哪些数据;应用了哪些安全策略;哪些操作被阻止。

 

7. 将 AI 治理要求写入供应商续约合同条款。

要求供应商披露:使用了哪些模型供应商;是否使用客户数据进行模型训练;默认关闭 AI 功能;提前数周通知 AI 功能变化。

 

8.  指定AI 治理专职负责人。

指定一名负责人向 CISO(首席信息安全官)汇报。同时:让法务和采购团队共同参与治理工作。

本网站使用Cookies以使您获得最佳的体验。为了继续浏览本网站,您需同意我们对Cookies的使用。想要了解更多有关于Cookies的信息,或不希望当您使用网站时出现cookies,请阅读我们的Cookies声明和隐私声明。
全 部 接 受
拒 绝