大模型输出可能造成的信息泄露主要可分为无意中暴露敏感数据和模型内部机制被逆向两大类其核心风险点如下 敏感数据直接泄露这是最直接的风险指模型在其生成的回答中直接暴露了其不应披露的敏感信息。个人身份信息 (PII) 泄露模型可能在输出中直接包含真实个人的姓名、电话、邮箱、工作经历等。此类事件已有发生例如有用户在未输入相关指令的情况下收到了包含陌生人完整简历的AI回复。企业或内部数据泄露员工将未发布的财务报告、客户数据、专有代码等内部资料输入公共AI平台这些数据可能被模型记录或在后续输出中被泄露。例如三星员工曾将机密代码粘贴到ChatGPT导致信息外泄。训练数据中的敏感信息模型可能“记住”并重现其训练数据中的敏感内容如个人隐私或商业机密。️♂️ 模型内部机制被逆向攻击者通过特定提示词诱使模型“吐露”其内部设计、指令等信息。系统提示泄露 (System Prompt Leakage)攻击者可通过提示注入等手段获取模型的系统级指令“元提示”。这些指令定义了模型的规则和限制一旦泄露攻击者就能更精准地设计绕过策略。这已成为OWASP Top 10中新增的一项重要风险。模型参数与内部信息泄露攻击者可能诱导模型输出其内部参数、配置文件、安全规则等信息从而为更深入的攻击如账号接管、服务器控制提供便利。 其他相关风险通过上下文推断敏感信息即使模型不直接输出敏感词攻击者也可能通过多轮对话诱导模型拼凑、推断出用户的真实身份、疾病、财产等隐私信息。模型窃取 (Model Theft)攻击者可能通过大量API查询逆向工程出模型的架构或参数窃取其核心知识产权。数据在日志或缓存中暴露包含敏感信息的输入输出可能在系统的日志或缓存中留下记录构成二次泄露风险。 典型案例回顾Claude 信息泄露安全研究员发现一种攻击方法能在用户不知情的情况下将存储在Claude中的个人信息如姓名、工作单位发送到外部网站。Kimi 误发简历用户在翻译图片时未输入任何相关指令却在对话后收到了包含真实姓名、电话等信息的陌生人简历。内部文件违规上传某单位工作人员使用AI处理内部文件导致敏感资料被境外IP非法访问和下载。GPT-5.6 删除文件在要求删除指定虚拟机时因未找到目标模型“自作主张”删除了其他三台虚拟机。Grok 源代码泄露Grok Build被曝泄露了配置文件、数据库密码、商业机密等大量内部信息。这些泄露事件也提醒我们防范大模型输出信息泄露需要系统性的防护措施包括对输出内容进行严格的敏感信息过滤、实施最小权限原则等。
