9.3隐私与安全

先给直觉

AI 应用的强大来自上下文。

它能读：

• 用户问题
• 文档
• 邮件
• 截图
• 数据库
• 日志
• 工具返回结果

但上下文越多，风险也越大。

如果你把所有资料都丢给模型，它也许能回答得更完整，也可能把不该看的东西看了，把不该记的东西记进日志，把不该说的东西说出去。

AI 安全的第一原则是：不要给模型超过任务需要的东西。

常见敏感数据

AI 应用中常见敏感信息包括：

• 姓名
• 手机号
• 邮箱
• 地址
• 身份证件
• 医疗信息
• 财务信息
• 合同内容
• 客户资料
• 员工信息
• 公司内部文档
• 源代码和密钥
• 业务数据

多模态输入还可能包含：

• 人脸
• 车牌
• 地理位置
• 屏幕中的账号信息
• 白板上的内部计划

风险入口

1. 用户输入

用户可能主动输入敏感信息。

例如：

这是客户身份证和合同，帮我总结风险。

产品要提醒、脱敏或限制。

2. 上传文件

文件里可能包含大量隐私。

包括 PDF、表格、图片、音频、视频。

3. RAG 知识库

知识库可能包含不同权限的文档。

如果权限过滤做不好，普通用户可能检索到不该看的内容。

4. 工具调用

工具可能访问数据库、邮件、日历、订单和支付系统。

工具权限过大，是 Agent 风险的重要来源。

5. 日志

日志会保存输入、输出、工具参数、检索片段。

日志本身也可能变成敏感数据仓库。

6. 第三方模型或服务

如果使用外部 API，要考虑：

• 数据会发送到哪里。
• 是否会被保存。
• 是否用于训练。
• 是否满足合规要求。
• 是否需要企业协议。

数据最小化

数据最小化是基础原则。

只给模型完成任务所需的数据。

例子：

用户要总结一份合同的付款条款。

不一定需要：

• 全部附件。
• 双方联系人手机号。
• 银行账号。
• 其他无关合同。

可以先抽取相关段落，再给模型总结。

脱敏

脱敏是把敏感信息替换或隐藏。

例子：

张三 → 用户 A
13812345678 → [手机号]
身份证号 → [证件号]

脱敏适合：

• 日志记录。
• 模型输入。
• 评估样本。
• 演示数据。

但脱敏要谨慎。过度脱敏可能让任务无法完成，不足脱敏又会泄露隐私。

权限控制

权限控制不能交给模型。

系统要决定：

• 谁能访问哪些文档。
• 谁能调用哪些工具。
• 哪些字段可以返回。
• 哪些动作需要确认。
• 哪些操作必须记录审计日志。

RAG 权限尤其重要。

错误做法：

先检索所有文档，再让模型不要说敏感内容。

正确方向：

先按用户权限过滤，再检索可访问文档。

密钥和源代码

AI 编程场景中，用户可能把密钥、配置、内部代码发给模型。

风险：

• API Key 泄露。
• 数据库密码泄露。
• 内部架构暴露。
• 漏洞被放大。

建议：

• 不把密钥发给模型。
• 提交前扫描密钥。
• 日志中隐藏密钥。
• 使用环境变量和权限管理。
• 代码审查时关注安全。

日志安全

日志要服务调试和评估，但不能无限制保存敏感信息。

建议：

• 对敏感字段脱敏。
• 限制日志访问权限。
• 设置保留周期。
• 区分调试日志和审计日志。
• 对高风险工具调用单独记录。
• 避免把完整用户文件永久保存。

多模态隐私

图片、音频、视频比文本更容易包含隐私。

例如截图中可能有：

• 用户头像
• 邮箱
• 浏览器标签
• 内部系统地址
• 客户信息

产品应提供：

• 上传前提醒。
• 自动检测敏感信息。
• 裁剪或打码工具。
• 明确保存策略。

安全边界设计

一个 AI 应用至少要设计：

输入边界

哪些数据可以进入系统。

上下文边界

哪些数据可以进入模型上下文。

权限边界

模型和工具能访问什么。

输出边界

哪些内容可以返回给用户。

操作边界

哪些动作需要确认或禁止。

日志边界

哪些内容可以记录，保存多久。

高风险场景

需要严格控制：

• 医疗。
• 法律。
• 财务。
• 教育未成年人数据。
• 企业内部知识库。
• 客户服务系统。
• 自动化工具调用。
• 代码和基础设施操作。

这些场景不是不能用 AI，而是必须有边界、审核和审计。

案例：课程学习助手

风险：

• 学员上传个人笔记，包含隐私。
• 学员上传截图，包含账号。
• 系统记录学习历史。
• RAG 检索到未发布课程材料。
• AI 错误建议学习路径。

防护：

• 上传前提示。
• 日志脱敏。
• 只检索已发布课程。
• 学习记录权限隔离。
• 高变化事实进入核查队列。

案例：企业知识库助手

风险：

• 普通员工查询到高管文档。
• 客户资料被错误引用。
• 离职员工仍可访问。
• 日志保存了敏感合同。

防护：

• 和企业权限系统集成。
• 检索前过滤权限。
• 返回结果标注来源。
• 敏感文档单独策略。
• 审计所有高风险查询。

常见误区

误区 1：只要模型供应商可靠，就没有隐私问题

不够。你的输入、日志、权限和工具设计同样重要。

误区 2：内部系统不需要严格权限

内部泄露也是真泄露。

误区 3：Prompt 可以控制安全

Prompt 只能辅助，真正权限必须由系统实现。

误区 4：日志越完整越好

日志太完整可能保存了不该保存的敏感数据。

误区 5：脱敏只是替换姓名

手机号、邮箱、地址、账号、合同号、截图内容都可能需要处理。

动手练习

为一个“企业知识库 AI 助手”设计隐私与安全策略。

填写：

项目	你的设计
可能的敏感数据
输入前如何提醒
RAG 权限如何过滤
工具有哪些权限
哪些动作需要确认
日志记录什么
日志如何脱敏
谁可以查看日志
出现泄露时如何追踪