大语言模型安全:构建安全的AI应用
大语言模型安全:构建安全的AI应用
Steve Wilson
郭笑鹏, 侯振伟, 钟季龙, 徐丽霞 译
出版时间:2025年09月
页数:189
“Steve Wilson的这本书对于人工智能开发者和红队成员来说至关重要。它将巨大的风险转化为可管控的挑战,提供了保障大语言模型应用安全的专业知识。”
——Marten Mickos
HackerOne首席执行官
“这本由大语言模型安全之父Steve Wilson撰写的著作是创新者的必读书。”
——Sherri Douville
Medigram首席执行官
“Steve Wilson宝贵的行业专业知识,加之他针对快速变化的领域所采用的独特且灵活的方法,使得这本书成为必读之作。”
——Ads Dawson
Cohere公司资深安全工程师

大语言模型(LLM)不仅在塑造人工智能的发展轨迹,还揭开了一个安全挑战新纪元。本书将带你直面这些威胁的核心。作者Steve Wilson是“OWASP大语言模型应用十大安全风险”项目的负责人,他着重阐述了在使用大语言模型开发软件时必须应对的独特特征与漏洞。
这本面向开发者和安全团队的手册提供了真实场景下的指导和切实可行的策略,助力你应对大语言模型应用相关的问题。无论你是在设计新应用,还是为现有应用增添人工智能功能,本书都是你掌握人工智能下一个前沿领域安全态势的必备资源。
通过阅读本书,你将学到:
● 大语言模型为何会带来独特的安全挑战。
● 如何应对与使用大语言模型技术相关的风险。
● 与大语言模型相关的威胁态势以及必须坚守的关键信任边界。
● 部署防御措施以抵御针对主要漏洞的攻击的方法。
● 改进软件开发流程以确保构建安全可靠的人工智能应用的途径。
  1. 前言
  2. 第1章 聊天机器人之殇
  3. 1.1 让我们谈谈Tay
  4. 1.2 Tay的光速堕落
  5. 1.3 为什么Tay会失控
  6. 1.4 这是一个棘手的问题
  7. 第2章 OWASP大语言模型应用十大安全风险
  8. 2.1 关于OWASP
  9. 2.2 大语言模型应用十大风险项目
  10. 2.2.1 项目执行
  11. 2.2.2 反响
  12. 2.2.3 成功的关键
  13. 2.3 本书与十大风险榜单
  14. 第3章 架构与信任边界
  15. 3.1 人工智能、神经网络和大语言模型:三者有何区别
  16. 3.2 Transformer革命:起源、影响及其与LLM的关系
  17. 3.2.1 Transformer的起源
  18. 3.2.2 Transformer架构对AI的影响
  19. 3.3 基于大语言模型的应用类型
  20. 3.4 大语言模型应用架构
  21. 3.4.1 信任边界
  22. 3.4.2 模型
  23. 3.4.3 用户交互
  24. 3.4.4 训练数据
  25. 3.4.5 访问实时外部数据源
  26. 3.4.6 访问内部服务
  27. 3.5 结论
  28. 第4章 提示词注入
  29. 4.1 提示词注入攻击案例
  30. 4.1.1 强势诱导
  31. 4.1.2 反向心理学
  32. 4.1.3 误导
  33. 4.1.4 通用和自动化对抗性提示
  34. 4.2 提示词注入的影响
  35. 4.3 直接与间接提示词注入
  36. 4.3.1 直接提示词注入
  37. 4.3.2 间接提示词注入
  38. 4.3.3 关键差异
  39. 4.4 缓解提示词注入风险
  40. 4.4.1 速率限制
  41. 4.4.2 基于规则的输入过滤
  42. 4.4.3 使用专用大语言模型进行过滤
  43. 4.4.4 添加提示结构
  44. 4.4.5 对抗性训练
  45. 4.4.6 悲观信任边界定义
  46. 4.5 结论
  47. 第5章 你的大语言模型是否知道得太多了
  48. 5.1 现实世界中的案例
  49. 5.1.1 Lee Luda案例
  50. 5.1.2 GitHub Copilot和OpenAI的Codex
  51. 5.2 知识获取方法
  52. 5.3 模型训练
  53. 5.3.1 基础模型训练
  54. 5.3.2 基础模型的安全考虑
  55. 5.3.3 模型微调
  56. 5.3.4 训练风险
  57. 5.4 检索增强生成
  58. 5.4.1 直接网络访问
  59. 5.4.2 访问数据库
  60. 5.5 从用户交互中学习
  61. 5.6 结论
  62. 第6章 语言模型会做电子羊的梦吗
  63. 6.1 为什么大语言模型会产生幻觉
  64. 6.2 幻觉的类型
  65. 6.3 实例分析
  66. 6.3.1 虚构的法律先例
  67. 6.3.2 航空公司聊天机器人诉讼案
  68. 6.3.3 无意的人格诋毁
  69. 6.3.4 开源包幻觉现象
  70. 6.4 谁该负责
  71. 6.5 缓解最佳实践
  72. 6.5.1 扩展领域特定知识
  73. 6.5.2 思维链推理:提高准确性的新路径
  74. 6.5.3 反馈循环:用户输入在降低风险中的作用
  75. 6.5.4 明确传达预期用途和局限性
  76. 6.5.5 用户教育:以知识赋能用户
  77. 6.6 结论
  78. 第7章 不要相信任何人
  79. 7.1 零信任解码
  80. 7.2 为什么要如此偏执
  81. 7.3 为大模型实施零信任架构
  82. 7.3.1 警惕过度授权
  83. 7.3.2 确保输出处理的安全性
  84. 7.4 构建输出过滤器
  85. 7.4.1 使用正则表达式查找个人信息
  86. 7.4.2 评估毒性
  87. 7.4.3 将过滤器链接到大模型
  88. 7.4.4 安全转义
  89. 7.5 结论
  90. 第8章 保护好你的钱包
  91. 8.1 拒绝服务攻击
  92. 8.1.1 基于流量的攻击
  93. 8.1.2 协议攻击
  94. 8.1.3 应用层攻击
  95. 8.1.4 史诗级拒绝服务攻击:Dyn事件
  96. 8.2 针对大模型的模型拒绝服务攻击
  97. 8.2.1 稀缺资源攻击
  98. 8.2.2 上下文窗口耗尽
  99. 8.2.3 不可预测的用户输入
  100. 8.3 拒绝钱包攻击
  101. 8.4 模型克隆
  102. 8.5 缓解策略
  103. 8.5.1 特定领域防护
  104. 8.5.2 输入验证和清理
  105. 8.5.3 严格的速率限制
  106. 8.5.4 资源使用上限
  107. 8.5.5 监控和告警
  108. 8.5.6 财务阈值和告警
  109. 8.6 结论
  110. 第9章 寻找最薄弱环节
  111. 9.1 供应链基础
  112. 9.1.1 软件供应链安全
  113. 9.1.2 Equifax数据泄露事件
  114. 9.1.3 SolarWinds黑客攻击
  115. 9.1.4 Log4Shell漏洞
  116. 9.2 理解大语言模型供应链
  117. 9.2.1 开源模型风险
  118. 9.2.2 训练数据污染
  119. 9.2.3 意外不安全的训练数据
  120. 9.2.4 不安全的插件
  121. 9.3 建立供应链追踪工件
  122. 9.3.1 软件物料清单的重要性
  123. 9.3.2 模型卡片
  124. 9.3.3 模型卡片与软件物料清单的比较
  125. 9.3.4 CycloneDX:SBOM标准
  126. 9.3.5 机器学习物料清单的兴起
  127. 9.3.6 构建机器学习物料清单示例
  128. 9.4 大语言模型供应链安全的未来
  129. 9.4.1 数字签名和水印技术
  130. 9.4.2 漏洞分类和数据库
  131. 9.5 结论
  132. 第10章 从未来的历史中学习
  133. 10.1 回顾OWASP大语言模型应用程序十大安全风险
  134. 10.2 案例研究
  135. 10.2.1《独立日》:一场备受瞩目的安全灾难
  136. 10.2.2《2001太空漫游》中的安全缺陷
  137. 10.3 结论
  138. 第11章 信任流程
  139. 11.1 DevSecOps的演进历程
  140. 11.1.1 机器学习运维
  141. 11.1.2 大模型运维
  142. 11.2 将安全性构建到大模型运维中
  143. 11.3 大模型开发过程中的安全性
  144. 11.3.1 保护你的持续集成和持续部署
  145. 11.3.2 大语言模型专用安全测试工具
  146. 11.3.3 管理你的供应链
  147. 11.4 运用防护机制保护应用程序
  148. 11.4.1 防护机制在大模型安全策略中的作用
  149. 11.4.2 开源与商业防护方案比较
  150. 11.4.3 自定义防护机制与成熟防护机制的融合应用
  151. 11.5 应用监控
  152. 11.5.1 记录每个提示和响应
  153. 11.5.2 日志和事件集中管理
  154. 11.5.3 用户与实体行为分析
  155. 11.6 建立你的AI红队
  156. 11.6.1 AI红队测试的优势
  157. 11.6.2 红队与渗透测试
  158. 11.6.3 工具和方法
  159. 11.7 持续改进
  160. 11.7.1 建立和调整防护机制
  161. 11.7.2 管理数据访问和质量
  162. 11.7.3 利用人类反馈强化学习实现对齐和安全
  163. 11.8 结论
  164. 第12章 负责任的人工智能安全实践框架
  165. 12.1 力量
  166. 12.1.1 图形处理器
  167. 12.1.2 云计算
  168. 12.1.3 开源
  169. 12.1.4 多模态
  170. 12.1.5 自主智能体
  171. 12.2 责任
  172. 12.2.1 RAISE框架
  173. 12.2.2 RAISE检查清单
  174. 12.3 结论
书名:大语言模型安全:构建安全的AI应用
作者:Steve Wilson
译者:郭笑鹏, 侯振伟, 钟季龙, 徐丽霞 译
国内出版社:机械工业出版社
出版时间:2025年09月
页数:189
书号:978-7-111-78883-6
原版书书名:The Developer's Playbook for Large Language Model Security
原版书出版商:O'Reilly Media
Steve Wilson
 
Steve Wilson是Exabeam公司的首席产品官,也是人工智能和网络安全领域公认的领军人物。他在Citrix、Oracle和Sun Microsystems等大型科技公司拥有超过25年的软件平台搭建经验。Steve还是Java Platform Performance: Strategies and Tactics一书的作者。
 
 
本书封面上的动物是驼鹿(学名:Alces americanus)。驼鹿以其庞大的体型和独特的鹿角而闻名,主要栖息于美国北部(包括阿拉斯加)以及加拿大全境。
驼鹿是鹿科动物中体型最为硕大的物种,其身高可超过18米,体重可达450公斤以上。雌雄驼鹿主要通过雄性的鹿角加以区分,其鹿角展开可达1.8米宽。雄性驼鹿在春季开始生长鹿角,为秋季的繁殖期做准备,其间会用鹿角与其他雄性争夺交配权。繁殖期结束后鹿角会脱落,来年春季重新生长。
驼鹿体型魁梧,毛皮具有极佳的保暖性,最适合在寒冷气候中生存,尤其偏爱有水域的森林地带。它们以树叶、树枝为主要食物。虽然驼鹿并不被视为濒危物种,但它们正面临多重威胁,包括热应激、疾病以及蜱虫侵扰的增加--这些问题都与气候变暖有关。
购买选项
定价:79.00元
书号:978-7-111-78883-6
出版社:机械工业出版社