图解大模型：生成式AI原理与实战
李博杰 译
出版时间：2025年05月
页数：349
“这本书延续了Jay和Maarten一贯的风格，通过精美的插图搭配深入浅出的文字，将复杂概念讲解得形象生动，为想要深入理解大模型底层技术的读者提供了宝贵的学习资源。”
——吴恩达（Andrew Ng）
DeepLearning.AI创始人
“在大模型时代，想不出还有哪本书比这本更值得一读！不要错过书中任何一页，你会从中学到至关重要的知识。”
——Josh Starmer
YouTube热门频道StatQuest作者
近年来，AI的语言能力取得了惊人的进展。得益于深度学习的快速发展，语言AI系统在文本理解与生成方面变得空前强大。这一趋势不仅催生了新功能与新产品，也推动了整个行业的发展。
本书以直观、可视化的方式讲解关键概念与工具，帮你掌握大模型的核心能力，并将其应用于真实场景。你将学会如何使用预训练模型处理文案生成、内容摘要等任务，构建语义搜索系统，并利用常见的库和模型实现文本分类、搜索与聚类。
通过本书，你将掌握：
● Transformer架构及其在文本生成与表示中的优势
● 构建高级大模型处理流程，用于文档聚类并挖掘其中的主题
● 打造语义搜索引擎，借助稠密检索、重排序等方法，实现超越关键词搜索的能力
● 探索生成模型的使用方式，从提示工程到检索增强生成
● 通过监督微调、对比学习和上下文学习，训练并优化适用于特定任务的大模型
——吴恩达（Andrew Ng）
DeepLearning.AI创始人
“在大模型时代，想不出还有哪本书比这本更值得一读！不要错过书中任何一页，你会从中学到至关重要的知识。”
——Josh Starmer
YouTube热门频道StatQuest作者
近年来，AI的语言能力取得了惊人的进展。得益于深度学习的快速发展，语言AI系统在文本理解与生成方面变得空前强大。这一趋势不仅催生了新功能与新产品，也推动了整个行业的发展。
本书以直观、可视化的方式讲解关键概念与工具，帮你掌握大模型的核心能力，并将其应用于真实场景。你将学会如何使用预训练模型处理文案生成、内容摘要等任务，构建语义搜索系统，并利用常见的库和模型实现文本分类、搜索与聚类。
通过本书，你将掌握：
● Transformer架构及其在文本生成与表示中的优势
● 构建高级大模型处理流程，用于文档聚类并挖掘其中的主题
● 打造语义搜索引擎，借助稠密检索、重排序等方法，实现超越关键词搜索的能力
● 探索生成模型的使用方式，从提示工程到检索增强生成
● 通过监督微调、对比学习和上下文学习，训练并优化适用于特定任务的大模型
- 对本书的赞誉
- 对本书中文版的赞誉
- 译者序
- 中文版序
- 前言
- 第一部分 理解语言模型
- 第1章 大语言模型简介
- 1.1 什么是语言人工智能
- 1.2 语言人工智能的近期发展史
- 1.2.1 将语言表示为词袋模型
- 1.2.2 用稠密向量嵌入获得更好的表示
- 1.2.3 嵌入的类型
- 1.2.4 使用注意力机制编解码上下文
- 1.2.5 “Attention Is All You Need”
- 1.2.6 表示模型：仅编码器模型
- 1.2.7 生成模型：仅解码器模型
- 1.2.8 生成式AI元年
- 1.3 “LLM”定义的演变
- 1.4 LLM的训练范式
- 1.5 LLM的应用
- 1.6 开发和使用负责任的LLM
- 1.7 有限的资源就够了
- 1.8 与LLM交互
- 1.8.1 专有模型
- 1.8.2 开源模型
- 1.8.3 开源框架
- 1.9 生成你的第一段文本
- 1.10 小结
- 第2章 词元和嵌入
- 2.1 LLM的分词
- 2.1.1 分词器如何处理语言模型的输入
- 2.1.2 下载和运行LLM
- 2.1.3 分词器如何分解文本
- 2.1.4 词级、子词级、字符级与字节级分词
- 2.1.5 比较训练好的LLM分词器
- 2.1.6 分词器属性
- 2.2 词元嵌入
- 2.2.1 语言模型为其分词器的词表保存嵌入
- 2.2.2 使用语言模型创建与上下文相关的词嵌入
- 2.3 文本嵌入（用于句子和整篇文档）
- 2.4 LLM之外的词嵌入
- 2.4.1 使用预训练词嵌入
- 2.4.2 word2vec算法与对比训练
- 2.5 推荐系统中的嵌入
- 2.5.1 基于嵌入的歌曲推荐
- 2.5.2 训练歌曲嵌入模型
- 2.6 小结
- 第3章 LLM的内部机制
- 3.1 Transformer模型概述
- 3.1.1 已训练Transformer LLM的输入和输出
- 3.1.2 前向传播的组成
- 3.1.3 从概率分布中选择单个词元（采样/解码）
- 3.1.4 并行词元处理和上下文长度
- 3.1.5 通过缓存键 值加速生成过程
- 3.1.6 Transformer块的内部结构
- 3.2 Transformer架构的最新改进
- 3.2.1 更高效的注意力机制
- 3.2.2 Transformer块
- 3.2.3 位置嵌入：RoPE
- 3.2.4 其他架构实验和改进
- 3.3 小结
- 第二部分 使用预训练语言模型
- 第4章 文本分类
- 4.1 电影评论的情感分析
- 4.2 使用表示模型进行文本分类
- 4.3 模型选择
- 4.4 使用特定任务模型
- 4.5 利用嵌入向量的分类任务
- 4.5.1 监督分类
- 4.5.2 没有标注数据怎么办
- 4.6 使用生成模型进行文本分类
- 4.6.1 使用T5
- 4.6.2 使用ChatGPT进行分类
- 4.7 小结
- 第5章 文本聚类和主题建模
- 5.1 ArXiv文章：计算与语言
- 5.2 文本聚类的通用流程
- 5.2.1 嵌入文档
- 5.2.2 嵌入向量降维
- 5.2.3 对降维后的嵌入向量进行聚类
- 5.2.4 检查生成的簇
- 5.3 从文本聚类到主题建模
- 5.3.1 BERTopic：一个模块化主题建模框架
- 5.3.2 添加特殊的“乐高积木块”
- 5.3.3 文本生成的“乐高积木块”
- 5.4 小结
- 第6章 提示工程
- 6.1 使用文本生成模型
- 6.1.1 选择文本生成模型
- 6.1.2 加载文本生成模型
- 6.1.3 控制模型输出
- 6.2 提示工程简介
- 6.2.1 提示词的基本要素
- 6.2.2 基于指令的提示词
- 6.3 高级提示工程
- 6.3.1 提示词的潜在复杂性
- 6.3.2 上下文学习：提供示例
- 6.3.3 链式提示：分解问题
- 6.4 使用生成模型进行推理
- 6.4.1 思维链：先思考再回答
- 6.4.2 自洽性：采样输出
- 6.4.3 思维树：探索中间步骤
- 6.5 输出验证
- 6.5.1 提供示例
- 6.5.2 语法：约束采样
- 6.6 小结
- 第7章 高级文本生成技术与工具
- 7.1 模型输入/输出：基于LangChain加载量化模型
- 7.2 链：扩展LLM的能力
- 7.2.1 链式架构的关键节点：提示词模板
- 7.2.2 多提示词链式架构
- 7.3 记忆：构建LLM的对话回溯能力
- 7.3.1 对话缓冲区
- 7.3.2 窗口式对话缓冲区
- 7.3.3 对话摘要
- 7.4 智能体：构建LLM系统
- 7.4.1 智能体的核心机制：递进式推理
- 7.4.2 LangChain中的ReAct实现
- 7.5 小结
- 第8章 语义搜索与RAG
- 8.1 语义搜索与RAG技术全景
- 8.2 语言模型驱动的语义搜索实践
- 8.2.1 稠密检索
- 8.2.2 重排序
- 8.2.3 检索评估指标体系
- 8.3 RAG
- 8.3.1 从搜索到RAG
- 8.3.2 示例：使用LLM API进行基于知识的生成
- 8.3.3 示例：使用本地模型的RAG
- 8.3.4 高级RAG技术
- 8.3.5 RAG效果评估
- 8.4 小结
- 第9章 多模态LLM
- 9.1 视觉Transformer
- 9.2 多模态嵌入模型
- 9.2.1 CLIP：构建跨模态桥梁
- 9.2.2 CLIP的跨模态嵌入生成机制
- 9.2.3 OpenCLIP
- 9.3 让文本生成模型具备多模态能力
- 9.3.1 BLIP-2：跨越模态鸿沟
- 9.3.2 多模态输入预处理
- 9.3.3 用例1：图像描述
- 9.3.4 用例2：基于聊天的多模态提示词
- 9.4 小结
- 第三部分 训练和微调语言模型
- 第10章 构建文本嵌入模型
- 10.1 嵌入模型
- 10.2 什么是对比学习
- 10.3 SBERT
- 10.4 构建嵌入模型
- 10.4.1 生成对比样本
- 10.4.2 训练模型
- 10.4.3 深入评估
- 10.4.4 损失函数
- 10.5 微调嵌入模型
- 10.5.1 监督学习
- 10.5.2 增强型SBERT
- 10.6 无监督学习
- 10.6.1 TSDAE
- 10.6.2 使用TSDAE进行领域适配
- 10.7 小结
- 第11章 为分类任务微调表示模型
- 11.1 监督分类
- 11.1.1 微调预训练的BERT模型
- 11.1.2 冻结层
- 11.2 少样本分类
- 11.2.1 SetFit：少样本场景下的高效微调方案
- 11.2.2 少样本分类的微调
- 11.3 基于掩码语言建模的继续预训练
- 11.4 命名实体识别
- 11.4.1 数据准备
- 11.4.2 命名实体识别的微调
- 11.5 小结
- 第12章 微调生成模型
- 12.1 LLM训练三步走：预训练、监督微调和偏好调优
- 12.2 监督微调
- 12.2.1 全量微调
- 12.2.2 参数高效微调
- 12.3 使用QLoRA进行指令微调
- 12.3.1 模板化指令数据
- 12.3.2 模型量化
- 12.3.3 LoRA配置
- 12.3.4 训练配置
- 12.3.5 训练
- 12.3.6 合并权重
- 12.4 评估生成模型
- 12.4.1 词级指标
- 12.4.2 基准测试
- 12.4.3 排行榜
- 12.4.4 自动评估
- 12.4.5 人工评估
- 12.5 偏好调优、对齐
- 12.6 使用奖励模型实现偏好评估自动化
- 12.6.1 奖励模型的输入和输出
- 12.6.2 训练奖励模型
- 12.6.3 训练无奖励模型
- 12.7 使用DPO进行偏好调优
- 12.7.1 对齐数据的模板化
- 12.7.2 模型量化
- 12.7.3 训练配置
- 12.7.4 训练
- 12.8 小结
- 附录 图解DeepSeek-R1
- 后记
书名：图解大模型：生成式AI原理与实战
译者：李博杰 译
国内出版社：人民邮电出版社
出版时间：2025年05月
页数：349
书号：978-7-115-67083-0
原版书书名：Hands-On Large Language Models: Language Understanding and Generation
原版书出版商：O'Reilly Media
本书封面上的动物为红大袋鼠（Osphranter rufius）。作为袋鼠家族中体形最大者，其体长可达1.5米以上，尾长近1米。它们行动迅捷，跳跃行进时速超过56千米，单次跳跃高度可达1.8米，跨度可达7.6米。双眼独特的分布令其拥有近300度的广阔视野。
红大袋鼠之名源于其雄性个体的短毛呈红棕色，这种颜色来自其皮肤腺体分泌的红色油脂。雌性红大袋鼠则通常通体呈蓝灰色，毛色略泛棕。由于颜色特点，雄性红大袋鼠常被澳大利亚人称作“红色巨人”（big reds），而雌性红大袋鼠因行动速度更胜雄性，常被澳大利亚人称作“蓝色飞影”（blue fliers）。
红大袋鼠栖息于开阔干旱的林间地带，广布澳大利亚大陆，唯北部、西南部及东海岸地区鲜见其踪。环境变化会直接影响红大袋鼠的繁殖策略，雌性红大袋鼠可通过独特的繁殖调控能力暂停或推迟受孕及分娩，直至环境改善，或至前代幼崽完全脱离育儿袋。
红大袋鼠之名源于其雄性个体的短毛呈红棕色，这种颜色来自其皮肤腺体分泌的红色油脂。雌性红大袋鼠则通常通体呈蓝灰色，毛色略泛棕。由于颜色特点，雄性红大袋鼠常被澳大利亚人称作“红色巨人”（big reds），而雌性红大袋鼠因行动速度更胜雄性，常被澳大利亚人称作“蓝色飞影”（blue fliers）。
红大袋鼠栖息于开阔干旱的林间地带，广布澳大利亚大陆，唯北部、西南部及东海岸地区鲜见其踪。环境变化会直接影响红大袋鼠的繁殖策略，雌性红大袋鼠可通过独特的繁殖调控能力暂停或推迟受孕及分娩，直至环境改善，或至前代幼崽完全脱离育儿袋。
购买选项
|
© 2026，奥莱利技术咨询(北京)有限公司。版权所有。 传真: +86-10-88097463 京ICP备05003502号 |
|