大语言模型安全：构建安全的AI应用

在生成式AI席卷全球、大语言模型（LLM）深度融入企业核心业务的当下，安全漏洞引发的风险已从技术问题升级为关乎业务存续的战略挑战——从三星敏感数据泄露到加拿大航空聊天机器人诉讼，无数案例印证：缺少安全防护的LLM应用，即是企业的“隐形炸弹”。而本书正是全球LLM安全领域“奠基者”Steve Wilson为行业带来的“破局之作”。
作为“OWASP大语言模型应用十大安全风险”项目负责人，作者以20年AI与网络安全实战经验为基石，首次构建“RAISE框架”，从领域界定、知识库优化到零信任落地、AI红队演练，形成覆盖LLM全生命周期的安全防护闭环。书中不仅拆解提示词注入、模型幻觉等核心风险，更前瞻性布局多模态、自主智能体等前沿场景防御，兼顾开发者技术落地、管理者战略决策、合规者风险把控需求。
在同类书籍多聚焦单一风险的市场中，本书以“体系化、实战性、前瞻性”填补空白，既是企业规避数据泄露、法律纠纷的 “安全手册”，更是AI时代把握创新与风险平衡的“战略蓝图”，堪称所有LLM相关从业者的必备典籍。

本书围绕大语言模型应用程序的安全问题展开，共12章，分三个部分层层递进。第一部分（第1-3章）以真实案例引入大语言模型应用程序面临的安全挑战，介绍作者创立的应对项目及经验，同时探讨大语言模型应用架构与数据流控制的重要性，搭建知识框架。第二部分（第4-9章）剖析开发大语言模型应用程序的主要风险，既包含注入攻击、敏感信息泄露等传统安全风险，也涵盖训练数据投毒、幻觉等新兴AI系统特有的问题，每章通过实际案例分析，揭示风险及影响，并给出预防和减轻风险的建议。第三部分（第10-12章）通过科幻故事案例警示安全漏洞叠加的危害，阐述将安全实践融入软件开发全流程的方法，并展望大语言模型与AI技术的发展趋势，引入负责任的人工智能软件工程（RAISE）框架，助力读者维护软件安全。

目录<br />前言1<br />第1章 聊天机器人之殇9<br />1.1 让我们谈谈Tay9<br />1.2 Tay的光速堕落10<br />1.3 为什么Tay会失控11<br />1.4 这是一个棘手的问题13<br />第2章 OWASP大语言模型应用十大安全风险15<br />2.1 关于OWASP16<br />2.2 大语言模型应用十大风险项目17<br />2.2.1 项目执行17<br />2.2.2 反响18<br />2.2.3 成功的关键19<br />2.3 本书与十大风险榜单20<br />第3章 架构与信任边界22<br />3.1 人工智能、神经网络和大语言模型：三者有何区别22<br />3.2 Transformer革命：起源、影响及其与LLM的关系23<br />3.2.1 Transformer的起源24<br />3.2.2 Transformer架构对AI的影响24<br />3.3 基于大语言模型的应用类型26<br />3.4 大语言模型应用架构27<br />3.4.1 信任边界29<br />3.4.2 模型30<br />3.4.3 用户交互32<br />3.4.4 训练数据32<br />3.4.5 访问实时外部数据源33<br />3.4.6 访问内部服务35<br />3.5 结论35<br />第4章 提示词注入36<br />4.1 提示词注入攻击案例37<br />4.1.1 强势诱导37<br />4.1.2 反向心理学38<br />4.1.3 误导39<br />4.1.4 通用和自动化对抗性提示40<br />4.2 提示词注入的影响40<br />4.3 直接与间接提示词注入42<br />4.3.1 直接提示词注入42<br />4.3.2 间接提示词注入43<br />4.3.3 关键差异43<br />4.4 缓解提示词注入风险44<br />4.4.1 速率限制44<br />4.4.2 基于规则的输入过滤45<br />4.4.3 使用专用大语言模型进行过滤46<br />4.4.4 添加提示结构46<br />4.4.5 对抗性训练48<br />4.4.6 悲观信任边界定义49<br />4.5 结论50<br />第5章 你的大语言模型是否知道得太多了52<br />5.1 现实世界中的案例52<br />5.1.1 Lee Luda案例53<br />5.1.2 GitHub Copilot和OpenAI的Codex54<br />5.2 知识获取方法56<br />5.3 模型训练56<br />5.3.1 基础模型训练57<br />5.3.2 基础模型的安全考虑58<br />5.3.3 模型微调58<br />5.3.4 训练风险59<br />5.4 检索增强生成61<br />5.4.1 直接网络访问62<br />5.4.2 访问数据库66<br />5.5 从用户交互中学习71<br />5.6 结论72<br />第6章 语言模型会做电子羊的梦吗74<br />6.1 为什么大语言模型会产生幻觉75<br />6.2 幻觉的类型76<br />6.3 实例分析76<br />6.3.1 虚构的法律先例77<br />6.3.2 航空公司聊天机器人诉讼案78<br />6.3.3 无意的人格诋毁79<br />6.3.4 开源包幻觉现象81<br />6.4 谁该负责82<br />6.5 缓解最佳实践83<br />6.5.1 扩展领域特定知识83<br />6.5.2 思维链推理：提高准确性的新路径85<br />6.5.3 反馈循环：用户输入在降低风险中的作用86<br />6.5.4 明确传达预期用途和局限性88<br />6.5.5 用户教育：以知识赋能用户89<br />6.6 结论91<br />第7章 不要相信任何人92<br />7.1 零信任解码93<br />7.2 为什么要如此偏执94<br />7.3 为大模型实施零信任架构95<br />7.3.1 警惕过度授权96<br />7.3.2 确保输出处理的安全性99<br />7.4 构建输出过滤器102<br />7.4.1 使用正则表达式查找个人信息102<br />7.4.2 评估毒性103<br />7.4.3 将过滤器链接到大模型104<br />7.4.4 安全转义105<br />7.5 结论106<br />第8章 保护好你的钱包107<br />8.1 拒绝服务攻击108<br />8.1.1 基于流量的攻击108<br />8.1.2 协议攻击109<br />8.1.3 应用层攻击109<br />8.1.4 史诗级拒绝服务攻击：Dyn事件110<br />8.2 针对大模型的模型拒绝服务攻击110<br />8.2.1 稀缺资源攻击111<br />8.2.2 上下文窗口耗尽112<br />8.2.3 不可预测的用户输入113<br />8.3 拒绝钱包攻击114<br />8.4 模型克隆115<br />8.5 缓解策略116<br />8.5.1 特定领域防护116<br />8.5.2 输入验证和清理116<br />8.5.3 严格的速率限制117<br />8.5.4 资源使用上限117<br />8.5.5 监控和告警117<br />8.5.6 财务阈值和告警117<br />8.6 结论118<br />第9章 寻找最薄弱环节119<br />9.1 供应链基础120<br />9.1.1 软件供应链安全121<br />9.1.2 Equifax数据泄露事件121<br />9.1.3 SolarWinds黑客攻击122<br />9.1.4 Log4Shell漏洞124<br />9.2 理解大语言模型供应链125<br />9.2.1 开源模型风险126<br />9.2.2 训练数据污染127<br />9.2.3 意外不安全的训练数据128<br />9.2.4 不安全的插件128<br />9.3 建立供应链追踪工件129<br />9.3.1 软件物料清单的重要性129<br />9.3.2 模型卡片130<br />9.3.3 模型卡片与软件物料清单的比较131<br />9.3.4 CycloneDX：SBOM标准133<br />9.3.5 机器学习物料清单的兴起133<br />9.3.6 构建机器学习物料清单示例135<br />9.4 大语言模型供应链安全的未来138<br />9.4.1 数字签名和水印技术138<br />9.4.2 漏洞分类和数据库139<br />9.5 结论143<br />第10章 从未来的历史中学习145<br />10.1 回顾OWASP大语言模型应用程序十大安全风险145<br />10.2 案例研究146<br />10.2.1《独立日》：一场备受瞩目的安全灾难147<br />10.2.2《2001太空漫游》中的安全缺陷150<br />10.3 结论153<br />第11章 信任流程154<br />11.1 DevSecOps的演进历程155<br />11.1.1 机器学习运维155<br />11.1.2 大模型运维156<br />11.2 将安全性构建到大模型运维中157<br />11.3 大模型开发过程中的安全性157<br />11.3.1 保护你的持续集成和持续部署157<br />11.3.2 大语言模型专用安全测试工具158<br />11.3.3 管理你的供应链160<br />11.4 运用防护机制保护应用程序161<br />11.4.1 防护机制在大模型安全策略中的作用162<br />11.4.2 开源与商业防护方案比较163<br />11.4.3 自定义防护机制与成熟防护机制的融合应用164<br />11.5 应用监控164<br />11.5.1 记录每个提示和响应164<br />11.5.2 日志和事件集中管理164<br />11.5.3 用户与实体行为分析165<br />11.6 建立你的AI红队165<br />11.6.1 AI红队测试的优势167<br />11.6.2 红队与渗透测试167<br />11.6.3 工具和方法168<br />11.7 持续改进169<br />11.7.1 建立和调整防护机制169<br />11.7.2 管理数据访问和质量170<br />11.7.3 利用人类反馈强化学习实现对齐和安全170<br />11.8 结论171<br />第12章 负责任的人工智能安全实践框架173<br />12.1 力量174<br />12.1.1 图形处理器175<br />12.1.2 云计算176<br />12.1.3 开源177<br />12.1.4 多模态178<br />12.1.5 自主智能体180<br />12.2 责任181<br />12.2.1 RAISE框架181<br />12.2.2 RAISE检查清单187<br />12.3 结论188