《构建数据和机器学习平台》—

构建数据和机器学习平台

Marco Tranquillin, Valliappa Lakshmanan, Firat Tekiner 著

杜春晓译

出版时间：2025年06月

页数：350

“本书很好地介绍了设计和构建跟机构战略方向对齐的现代化云数据和机器学习平台所用概念、模式和组件。我真希望自己几年前就曾读过它。”
——Robert Sahlin
Mathem公司数据平台负责人
所有云架构师都要掌握数据平台的构建方法，只有这样，企业才能快速和高效地利用数据驱动决策，并交付企业范围的智能。这本指南介绍如何利用亚马逊AWS、微软Azure、谷歌GCP平台和Snowflake、Databricks等多云工具来设计、构建和打造现代化的云原生数据和机器学习平台。
三位作者利用真实企业架构，介绍了云环境从数据摄取到激活的整个数据生命周期。阅读本书，你将学到如何转换、加固和改造数据仓库和数据湖等熟悉的解决方案，使其走向现代化。你将能利用最新的AI/ML模式，获取准确和更快的洞察力，继而赢得竞争优势。
你将学到如何：
● 设计现代化和安全的云原生或混合式数据分析和机器学习平台。
● 整合数据到妥善治理、可扩展和有弹性的数据平台，以数据加速创新。
● 实现企业数据访问的民主化，治理业务团队抽取洞察力的方式，并构建AI/ML能力。
● 赋予业务团队用流处理流水线实时决策的能力。
● 构建MLOps平台，采用预测分析和规范性分析方法。

目录
产品信息
关于作者
封面介绍

前言
第1章数据平台现代化概览
1.1 数据生命周期
1.1.1 智慧之旅
1.1.2 水管类比
1.1.3 采集
1.1.4 存储
1.1.5 处理和转换
1.1.6 分析和可视化
1.1.7 激活
1.2 传统方法的局限性
1.2.1 反模式：用ETL打破数据孤岛
1.2.2 反模式：集中控制
1.2.3 反模式：数据集市和Hadoop
1.3 创建统一的分析平台
1.3.1 从内部平台改为云平台
1.3.2 数据集市和数据湖的缺点
1.3.3 融合数据仓库和数据湖
1.4 混合云
1.4.1 混合的必要性
1.4.2 混合云的挑战
1.4.3 混合方案为什么可行
1.4.4 边缘计算
1.5 采用AI
1.5.1 机器学习
1.5.2 采用机器学习
1.6 AI为什么要上云
1.6.1 云基础设施
1.6.2 普及机器学习
1.6.3 实时
1.6.4 MLOps
1.7 核心原则
1.8 小结
第2章数据创新战略步骤
2.1 步骤1：战略规划
2.1.1 战略目标
2.1.2 识别干系人
2.1.3 变更管理
2.2 步骤2：采用云方法，降低总拥有成本
2.2.1 为什么云的成本更低
2.2.2 上云能省多少钱
2.2.3 上云时机
2.3 步骤3：打破孤岛
2.3.1 统一数据访问
2.3.2 选择存储
2.3.3 构建语义层
2.4 步骤4：在上下文更快决策
2.4.1 从批处理到流处理
2.4.2 上下文信息
2.4.3 成本管理
2.5 步骤5：用AI方案包跨越式发展
2.5.1 预测分析
2.5.2 理解和生成非结构化数据
2.5.3 个性化
2.5.4 解决方案包
2.6 步骤6：运营由AI驱动的工作流
2.6.1 找到自动决策和AI辅助的最佳平衡点
2.6.2 营造数据文化
2.6.3 充实数据科学团队
2.7 步骤7：将数据作为产品来管理
2.7.1 将产品管理原则应用于数据
2.7.2 理解并维护企业的数据流地图
2.7.3 识别关键指标
2.7.4 共识标准、承诺的路线图和愿景性待办事项
2.7.5 为现有客户构建产品
2.7.6 管理变更，勇于担责
2.7.7 客户访谈，发现数据需求
2.7.8 充分利用白板和原型
2.7.9 只构建立即就能投入使用的产品
2.7.10 标准化常用实体和KPI
2.7.11 数据平台提供自助服务
2.8 小结
第3章为数据团队而设计
3.1 数据处理机构分类
3.2 数据分析驱动型机构
3.2.1 愿景
3.2.2 角色
3.2.3 技术框架
3.3 数据工程驱动型机构
3.3.1 愿景
3.3.2 角色
3.3.3 技术框架
3.4 数据科学驱动型机构
3.4.1 愿景
3.4.2 角色
3.4.3 技术框架
3.5 小结
第4章迁移框架
4.1 数据工作流现代化
4.1.1 全局观
4.1.2 工作流现代化
4.1.3 工作流自身的改造
4.2 四步走迁移框架
4.2.1 准备和发现
4.2.2 评估和规划
4.2.3 执行
4.2.4 优化
4.3 评估迁移方案的总成本
4.3.1 审计现有基础设施
4.3.2 索取信息、建议和报价
4.3.3 概念验证和最小可行产品
4.4 建立安全和数据治理机制
4.4.1 框架
4.4.2 成果
4.4.3 数据生命周期的治理工作
4.5 架构、流水线和数据迁移
4.5.1 架构迁移
4.5.2 流水线迁移
4.5.3 数据迁移
4.5.4 迁移阶段
4.6 小结
第5章构建数据湖
5.1 数据湖和云完美结合
5.1.1 数据湖本地部署的难点
5.1.2 云数据湖的优点
5.2 设计和实现
5.2.1 批处理和流处理
5.2.2 数据目录
5.2.3 Hadoop生态
5.2.4 云数据湖参考架构
5.3 集成数据湖：真正的超级力量
5.3.1 用API扩展数据湖
5.3.2 数据湖演化：Apache Iceberg、Apache Hudi和 Delta Lake
5.3.3 用笔记本作交互分析
5.4 数据处理和报表民主化
5.4.1 建立对数据的信任
5.4.2 数据摄取仍是IT部门的工作
5.5 数据湖机器学习
5.5.1 用原始数据训练
5.5.2 数据湖中作预测
5.6 小结
第6章用企业数据仓库创新
6.1 现代化数据平台
6.1.1 机构目标
6.1.2 技术难点
6.1.3 技术趋势和工具
6.2 中心辐射架构
6.2.1 数据摄取
6.2.2 商业智能
6.2.3 转换
6.2.4 机构结构
6.3 数据仓库赋能数据科学家
6.3.1 查询接口
6.3.2 Storage API
6.3.3 不移动数据的机器学习
6.4 小结
第7章湖仓一体融合架构
7.1 需要唯一架构
7.1.1 用户角色
7.1.2 反模式：各系统分离
7.1.3 反模式：数据重复
7.2 融合架构
7.2.1 两种形式
7.2.2 云存储上的湖仓一体
7.2.3 SQL优先湖仓一体
7.2.4 融合的好处
7.3 小结
第8章流式架构
8.1 流处理的价值
8.1.1 行业应用场景
8.1.2 流处理应用场景
8.2 流式摄取
8.2.1 流式ETL
8.2.2 流式ELT
8.2.3 流式插入
8.2.4 边缘设备（IoT）流处理
8.2.5 流数据存储
8.3 实时看板
8.3.1 实时查询
8.3.2 物化视图
8.4 流式分析
8.4.1 时间序列分析
8.4.2 点击流分析
8.4.3 异常检测
8.4.4 弹性流处理
8.5 机器学习实现持续智能
8.5.1 用流数据训练模型
8.5.2 流式机器学习推断
8.5.3 自动操作
8.6 小结
第9章利用混合和边缘架构扩展数据平台
9.1 为什么采用多云
9.1.1 单云更简洁、成本效益更高
9.1.2 多云不可避免
9.1.3 多云可以成为一种策略
9.2 多云架构模式
9.2.1 统一管理
9.2.2 一次编写，到处运行
9.2.3 从本地平台突击上云
9.2.4 从本地传递上云
9.2.5 流式数据集成
9.3 采用多云策略
9.3.1 框架
9.3.2 时间尺度
9.3.3 定义多云策略的目标架构
9.4 为什么采用边缘计算
9.4.1 带宽、时延和不稳定连接
9.4.2 应用场景
9.4.3 边缘计算的优势
9.4.4 挑战
9.5 边缘计算架构模式
9.5.1 智能设备
9.5.2 智能网关
9.5.3 机器学习激活
9.6 采用边缘计算
9.6.1 初始背景
9.6.2 项目
9.6.3 最终成果和下一步计划
9.7 小结
第10章 AI应用架构
10.1 这是AI和机器学习问题吗
10.1.1 AI的子领域
10.1.2 生成式AI
10.1.3 适合用机器学习解决的问题
10.2 购买、改造或构建
10.2.1 对数据的考量
10.2.2 何时购买
10.2.3 你可以买什么
10.2.4 如何改造已有模型
10.3 AI架构
10.3.1 理解非结构化数据
10.3.2 生成非结构化数据
10.3.3 预测结果
10.3.4 预测数值
10.3.5 异常检测
10.3.6 个性化
10.3.7 自动化
10.4 负责任的AI
10.4.1 AI原则
10.4.2 机器学习的公平性
10.4.3 可解释性
10.5 小结
第11章构建机器学习平台
11.1 机器学习活动
11.2 开发机器学习模型
11.2.1 标注环境
11.2.2 开发环境
11.2.3 用户环境
11.2.4 准备数据
11.2.5 训练机器学习模型
11.3 部署机器学习模型
11.3.1 端点部署
11.3.2 评估模型
11.3.3 混合和多云
11.3.4 训练—服务偏差
11.4 自动化
11.4.1 自动化训练和部署
11.4.2 用流水线编排
11.4.3 持续评估和训练
11.5 选择机器学习框架
11.5.1 团队技能
11.5.2 任务考量
11.5.3 以用户为中心
11.6 小结
第12章数据平台现代化：典型案例
12.1 新时代新技术
12.1.1 亟待改革
12.1.2 不只是技术问题
12.2 旅程伊始
12.2.1 当前环境
12.2.2 目标环境
12.2.3 概念验证的应用场景
12.3 云供应商提交的RFP响应文件
12.3.1 目标环境
12.3.2 迁移方法
12.4 RFP评估过程
12.4.1 概念验证的范围
12.4.2 执行概念验证
12.4.3 最终决策
12.5 结语
12.6 小结

书名：构建数据和机器学习平台

作者：Marco Tranquillin, Valliappa Lakshmanan, Firat Tekiner 著

译者：杜春晓译

国内出版社：中国电力出版社

出版时间：2025年06月

页数：350

书号：978-7-5198-9956-1

原版书书名：Architecting Data and Machine Learning Platforms

原版书出版商：O'Reilly Media

Marco Tranquillin

Marco Tranquillin是资深顾问，帮机构用云计算实现技术转型。

查看Marco Tranquillin更多信息

Valliappa Lakshmanan

Valliappa (Lak) Lakshmanan是Google Cloud的数据分析和AI解决方案负责人。他的团队借助BigQuery和Google Cloud上的其他数据分析、机器学习产品，构建软件解决方案来解决业务问题。

Valliappa Lakshmanan是知名高管，与管理层其他同仁和数据科学团队一起用数据和AI创造价值。

查看Valliappa Lakshmanan更多信息

Firat Tekiner

Firat Tekiner是创新型产品经理，为全球大型机构开发并交付数据产品和AI系统。

查看Firat Tekiner更多信息

本书封面上的鸟是栗喉蜂虎（学名：Merops philippinus），为蜂虎科成员，身形纤细，色彩斑斓。
顾名思义，栗喉蜂虎主要以蜜蜂、胡蜂和黄蜂为食。它们喜欢在海边的栖息地上空飞舞，捕食这些蜂类和其他飞虫。像所有近雀形目鸟类一样，它们是陆地鸟类，但通常在沙堤、缓和的山腰挖洞筑巢，而不是在树上。
栗喉蜂虎广泛分布于南亚和东南亚地区，随季节迁徙。由于其分布广且数量稳定，世界自然保护联盟（IUCN）将其列为无危物种。

购买选项

定价：98.00元

书号：978-7-5198-9956-1

出版社：中国电力出版社

联系出版社邮购