在迅速发展的人工智能 (AI) 领域中，无论是聊天机器人还是复杂的数据分析工具，大型语言模型 (LLM)都已成为许多应用程序不可或缺的组成部分。同时，LLM的快速普及带来了安全性、可观察性和信任方面的重大挑战。本文探讨了拟议的 LLM 可观察性和可信API 如何应对这些挑战，以确保能够负责任地使用人工智能。

• 数据隐私与泄露：保护个人可识别信息（PII）和知识产权（IP）不被泄露
• 威胁检测：识别和缓解威胁，例如提示注入攻击
• 内容过滤：确保高风险内容得到有效过滤，以防止不当或有害的输出

• 性能与成本监控：跟踪模型的性能指标和相关成本。
• 审计与合规：通过详细的日志记录和审计跟踪，来确保遵守PCI、HIPAA和GDPR等法规。
• 事件响应与取证：提供安全事件调查和响应的必要工具。

可见性是安全性和信任的基础。如果没有对大型语言模型（LLM）内部发生的事情的清晰理解，就无法有效地保护和优化它。全面的可见性能够使主动威胁检测、有效的响应策略以及建立安全可信的环境的建立成为可能。

• 用户、设备和位置：跟踪与模型互动的用户、来源以及所使用的设备。
• 提示可见性：监控提示及其上下文，以理解和控制输入到模型中的内容。
• 输出可见性：观察模型生成的输出，以确保其符合预期标准且不包含有害内容。
• 工作负载/容器可见性：关注模型在云或本地环境中的工作负载管理情况。

多模态可见性对于理解不同类型的数据输入和输出之间的互动至关重要，无论他们是文本、图像还是其他数据形式。这种整体方法可以构建一个完整的可观测性框架。

现有方法通常涉及内联控制，例如代理或防火墙（也称为入侵检测和防御系统 [IDPS] 和 API 网关），这可能会导致来自于运营方面的阻力和部署方面的挑战。这些方法可能在实时分析方面遇到困难，并且随着模型复杂性的增加，可能无法有效扩展。

LLM 可观察性与可信API 提供了一种带外的方法，利用异步API在不干扰模型的性能前提下提供全面的可见性。主要特点包括：

OnPrompt（） 和 OnOutput（） 钩子：捕获带有可选上下文信息的提示和输出。

• 异步数据发布：确保对模型性能的影响最小，同时提供详细的日志，以便进行后续分析和审计
• 与现有安全框架的集成：支持更易采用和集成到当前的安全操作中的方案

• 增强安全性：改进威胁检测和数据保护
• 更好的性能监控：提供对模型性能和成本的详细洞察
• 合规支持：具备强大的日志记录和审计能力，以满足监管要求
• 促进安全生态系统：鼓励围绕大型语言模型（LLMs）发展更广泛的安全和信任生态系统

成功实施LLM（大型语言模型）可观察性与可信API，关键在于模型提供商、云基础设施提供商和企业用户之间的紧密协作，关键步骤包括：

• 开发与标准化 API：创建一个标准化的API，以便在不同的平台和模型之间使用
• 构建集成工具：提供工具和库，以便于与现有系统的轻松集成。
• 社区协作：鼓励开源社区的贡献，以增强和扩展 API 的功能。

LLM 可观察性与可信API 代表了在管理现代 AI 系统复杂性方面的重大进展。通过提供全面的可见性和安全功能，该API能够确保大型语言模型（LLMs）被负责任和有效地使用，为更广泛的采用和创新铺平道路。

CSA 正在进一步研究和开发这一主题，后续计划后续白皮书，该白皮书将扩展本博客文章中提出的观点，并探讨潜在的解决方案。