流式数据网格
流式数据网格
Hubert Dulay, Stephen Mooney
张敬会, 秦正一, 阳沁珂 译
出版时间:2025年07月
页数:231
“这是一本全面的指南,巧妙地探讨了流式数据网格架构的变革潜力。书中提供了实用的见解和可操作且循序渐进的指导,对于寻求实时数据管理和处理的数据革新的专业人员,本书为必读之作。”
——Yingjun Wu
RisingWave实验室创始人兼CEO
“这是一个了解当前数据架构模式的绝佳资源。”
——Benjamin Djidi
Popsink公司CEO
数据湖和数据仓库随着数据量的增长和数据流动的加快,变得越来越脆弱、成本高昂且难以维护。数据网格可以帮助你的组织去中心化数据,将数据所有权归还给生产数据的工程师。本书提供了一个关于流式和实时数据服务的数据网格模式的简洁而全面的概述。
本书作者探讨了流式和批处理数据网格之间的巨大差异。数据工程师、架构师、数据产品所有者,以及DevOps和MLOps角色的人员将学习实施流式数据网格的步骤,从定义数据域到构建良好的数据产品。在本书的学习过程中,你将创建一个完整的自助式数据平台,并设计出一个数据治理系统,使你的数据网格能够无缝运行。
通过这本书,你将学习以下知识:
● 使用Kafka设计一个流式数据网格。
● 学习如何识别数据领域。
● 使用自助式工具构建你的第一个数据产品。
● 将数据治理应用于你创建的数据产品中。
● 了解同步和异步数据服务之间的差异。
● 实现支持去中心化数据的自助服务。
  1. 前言
  2. 第1章 数据网格简介
  3. 1.1 数据划分
  4. 1.2 数据网格的支柱
  5. 1.2.1 数据所有权
  6. 1.2.2 数据即产品
  7. 1.2.3 联合计算数据治理
  8. 1.2.4 自助服务数据平台
  9. 1.2.5 数据网格图解
  10. 1.3 其他类似的架构模式
  11. 1.3.1 数据编织
  12. 1.3.2 数据网关和数据服务
  13. 1.3.3 数据民主化
  14. 1.3.4 数据虚拟化
  15. 1.4 聚焦实现
  16. 1.4.1 Apache Kafka
  17. 1.4.2 AsyncAPI
  18. 第2章 流式数据网格介绍
  19. 2.1 流处理的优势
  20. 2.1.1 流式处理支持实时用例
  21. 2.1.2 流处理带来的数据优化优势
  22. 2.1.3 反向ETL
  23. 2.2 Kappa架构
  24. 2.2.1 Lambda架构简介
  25. 2.2.2 Kappa架构简介
  26. 2.3 总结
  27. 第3章 领域所有权
  28. 3.1 识别领域
  29. 3.1.1 可识别领域
  30. 3.1.2 地理区域
  31. 3.1.3 混合架构
  32. 3.1.4 多云环境
  33. 3.2 避免模糊领域边界
  34. 3.3 领域驱动设计
  35. 3.3.1 领域模型
  36. 3.3.2 领域逻辑
  37. 3.3.3 限界上下文
  38. 3.3.4 通用语言
  39. 3.4 数据网格领域角色
  40. 3.4.1 数据产品工程师
  41. 3.4.2 数据产品负责人或数据管理者
  42. 3.5 值得考虑的流式数据网格工具和平台
  43. 3.6 领域内成本分摊
  44. 3.7 总结
  45. 第4章 流式数据产品
  46. 4.1 明确数据产品需求
  47. 4.2 识别数据产品衍生品
  48. 4.3 用Kafka Connect摄取数据产品衍生品
  49. 4.3.1 可消费性
  50. 4.3.2 同步数据源
  51. 4.3.3 异步数据源与变更数据捕获
  52. 4.3.4 Debezium连接器
  53. 4.4 将数据衍生品转化为数据产品
  54. 4.4.1 数据标准化
  55. 4.4.2 保护敏感信息
  56. 4.4.3 SQL
  57. 4.4.4 提取、转换和加载
  58. 4.5 使用AsyncAPI发布数据产品
  59. 4.5.1 注册流式数据产品
  60. 4.5.2 构建异步API YAML文档
  61. 4.5.3 分配数据标签
  62. 4.5.4 版本控制
  63. 4.5.5 监控
  64. 4.6 总结
  65. 第5章 联邦式计算数据治理
  66. 5.1 在流式数据网格中的数据治理
  67. 5.1.1 数据血缘图
  68. 5.1.2 使用流数据目录来组织数据产品
  69. 5.2 元数据(Metadata)
  70. 5.2.1 模式(schemas)
  71. 5.2.2 数据血缘(Lineage)
  72. 5.2.3 安全性
  73. 5.2.4 可扩展性
  74. 5.3 从AsyncAPI生成数据产品页面
  75. 5.3.1 Apicurio注册表
  76. 5.3.2 访问工作流
  77. 5.4 集中式与去中心化
  78. 5.4.1 集中式工程师
  79. 5.4.2 去中心化工程师
  80. 5.5 总结
  81. 第6章 自助式数据基础设施
  82. 6.1 流式数据网格CLI
  83. 6.2 与资源相关的命令
  84. 6.2.1 与集群相关的命令
  85. 6.2.2 与主题相关的命令
  86. 6.2.3 domain命令
  87. 6.2.4 connect命令
  88. 6.2.5 streaming命令
  89. 6.2.6 发布流数据产品
  90. 6.3 与数据治理相关的服务
  91. 6.3.1 安全服务
  92. 6.3.2 标准服务
  93. 6.3.3 血缘服务
  94. 6.4 SaaS服务和API
  95. 6.5 总结
  96. 第7章 构建流式数据网格
  97. 7.1 基础设施
  98. 7.2 两种架构解决方案
  99. 7.2.1 专用基础设施
  100. 7.2.2 多租户基础设施
  101. 7.3 流式数据网格中心架构
  102. 7.3.1 领域代理(又称边车)
  103. 7.3.2 数据平面
  104. 7.3.3 控制平面
  105. 7.4 总结
  106. 第8章 构建一个去中心化的数据团队
  107. 8.1 传统的数据仓库结构
  108. 8.2 介绍去中心化团队结构
  109. 8.2.1 赋权人员
  110. 8.2.2 工作流程
  111. 8.2.3 促进协作
  112. 8.2.4 数据驱动自动化
  113. 8.3 数据领域的新角色
  114. 8.3.1 数据平面中的新角色
  115. 8.3.2 数据科学和商业智能中的新角色
  116. 第9章 特征存储
  117. 9.1 将数据工程与数据科学分离
  118. 9.2 在线和离线数据存储
  119. 9.3 Apache Feast简介
  120. 9.4 总结
  121. 第10章 流式数据网格的实践
  122. 10.1 流式数据网格示例
  123. 10.2 部署本地流式数据网格
  124. 10.2.1 安装连接器
  125. 10.2.2 部署clickstream数据连接器并自动创建表
  126. 10.2.3 部署Debezium Postgres CDC连接器
  127. 10.2.4 流数据的丰富化
  128. 10.2.5 发布数据产品
  129. 10.3 消费流式数据产品
  130. 10.4 全托管的SaaS服务
  131. 10.5 总结和注意事项
书名:流式数据网格
译者:张敬会, 秦正一, 阳沁珂 译
国内出版社:中国电力出版社
出版时间:2025年07月
页数:231
书号:978-7-5198-9974-5
原版书书名:Streaming Data Mesh
原版书出版商:O'Reilly Media
Hubert Dulay
 
Hubert Dulay是StarTree公司的系统和数据工程师。他为许多金融机构、医疗组织和电信公司提供过咨询服务。
 
 
Stephen Mooney
 
Stephen Mooney是一名独立的数据科学家和数据工程师。他曾在医疗保健、零售和公共部门的大公司工作过。
 
 
本书的封面动物是一只河鲈(学名:Sander vitreus),这是一种原产于加拿大和美国北部的淡水鱼。
河鲈因其独特的眼睛而得名。由于眼睛中含有一种名为视网膜反光层的反射色素,使其呈现不透明状。这一特征让河鲈能在光线不足或水流湍急的环境中清晰视物。因此,它们常在夜间或波涛汹涌的水中觅食,利用视力优势捕捉猎物。河鲈的主要食物包括其他鱼类,如黄鲈、小龙虾和鲦鱼,有趣的是,它们的嘴唇上还分布着味蕾。
河鲈的外观主要呈橄榄色和金色,腹部为白色。它们最大可长至31英寸,重达20磅。一般寿命为10~20年,不过有记录显示最长可达29年。由于河鲈是钓鱼爱好者的热门目标,捕捞活动在一定程度上影响了它们的平均寿命。为了维持种群平衡,相关部门对河鲈捕捞进行了管制,同时设立孵化场来补充湖泊和河流中的鱼类数量。
孵化场还在解决另一个问题:杂交。在自然环境中,河鲈有时会与梭鲈杂交,产生所谓的“梭河鲈”。而孵化场则确保了纯种河鲈的繁衍。雌性河鲈的产卵量惊人,通常可达50万粒。这些鱼卵被产在岩石上或岩石之间,经过大约两周的孵化期即可孵化,值得一提的是,鱼的父母并不会照看这些鱼卵。
购买选项
定价:78.00元
书号:978-7-5198-9974-5
出版社:中国电力出版社