电子工业出版社-网上书店

本书深入地探讨云原生数据仓库的理论知识与技术实践，主要内容涵盖数据仓库的发展历程、大数据处理技术、云原生数据仓库的概念与特点，以及云计算时代的数据仓库技术。书中详细介绍云原生数据仓库的架构设计，计算引擎、优化器、存储的关键技术，以及资源管理与调度等知识。同时，本书结合Redshift、Snowflake、BigQuery等典型的云原生数据仓库，以及 AnalyticDB等代表性的国产数据仓库介绍大量的实践案例。此外，书中针对云原生数据仓库的资源调度、查询优化、运维管理等方面进行深入的剖析，提供大量的最佳实践和应用场景。

第1章 数据仓库与大数据处理技术概述/1
1.1 数据仓库发展概述 /2
1.1.1 萌芽：OLTP 数据库与数据仓库概念的提出  /2
1.1.2 发展：联机分析处理与信息仓库集成理论  /6
1.1.3 成熟：商用数据仓库与数据仓库建模理论  /13
1.2 大数据处理技术与数据仓库/20
1.2.1 大数据处理技术的起源  /21
1.2.2 分布式技术  /22
1.2.3 经典大数据处理架构  /28
1.2.4 湖仓一体  /29
1.3 数据仓库发展趋势 /31
1.3.1 云原生与分布式  /31
1.3.2 大数据与数据库一体化  /33
1.3.3 弹性与Serverless 扩容计费  /34
1.3.4 智能化  /36
1.3.5 数据共享与安全可信  /37
第2章 数据仓库与云计算/39
2.1 云计算时代数据仓库的发展 /40
2.1.1 基础设施服务化  /40
2.1.2 数据仓库服务化  /43
2.2 云计算时代数据仓库技术的机遇与挑战 /45
2.2.1 高弹性和平台成本之间的权衡  /45
2.2.2 稳定性挑战  /46
2.2.3 计算存储带宽瓶颈  /47
2.2.4 安全的挑战  /47
2.3 云原生数据仓库的技术特点 /48
2.3.1 存算分离与资源池化  /48
2.3.2 超融合基础架构  /49
2.3.3 高可用  /49
2.3.4 自服务  /49
2.3.5 分层架构与弹性扩展  /50
2.3.6 数据实时性与多级一致性  /50
2.3.7 数据开放性与共享  /51
2.3.8 计算多样性  /51
第3章 云原生数据仓库架构/53
3.1 设计理念/54
3.1.1 充分利用云资源  /54
3.1.2 纵向解耦与横向弹性  /54
3.1.3 一体化数据处理  /55
3.2 参考架构/56
3.3 典型云原生数据仓库/ 58
3.3.1 Redshift / 58
3.3.2 Snowflake / 63
3.3.3 BigQuery / 69
3.3.4 Databricks / 72
3.3.5 AnalyticDB / 74
3.4 云原生数据仓库比较/77
3.4.1 存算分离  /77
3.4.2 弹性能力与可扩展性  /77
3.4.3 Serverless 支持 / 78
3.4.4 计算模型  /78
3.4.5 ACID 语义  /78
3.4.6 生态兼容  /79
第4章 计算引擎关键技术/80
4.1 执行模型/ 81
4.1.1 迭代模型  /81
4.1.2 物化模型  /82
4.1.3 批处理模型 /83
4.2 单机执行模型/ 84
4.2.1 执行模型  /84
4.2.2 典型执行算子  /85
4.2.3 执行算子优化  /87
4.3 分布式执行框架/ 91
4.3.1 MPP 架构 / 91
4.3.2 BSP /94
4.4 典型交互模式/ 98
4.4.1 批处理 / 99
4.4.2 交互式  /101
4.4.3 实时检索  /102
4.4.4 机器学习  /103
4.5 AnalyticDB计算引擎实践/104
4.5.1 AnalyticDB 的执行模型  /105
4.5.2 AnalyticDB 的计算资源调度  /111
4.5.3 AnalyticDB 混合负载管理  /117
第5章 优化器关键技术/123
5.1 优化技术分类/124
5.2 成熟优化器模型/125
5.2.1 分层搜索  /125
5.2.2 统一搜索  /126
5.3 深入CBO/133
5.3.1 代价模型与参数估计  /133
5.3.2 动态抽样  /140
5.3.3 查询重优化  /143
5.4 AnalyticDB优化器实践/150
5.4.1 主体框架  /150
5.4.2 统计信息管理  /152
5.4.3 湖仓一体优化器  /157
第6章 数据仓库存储关键技术/158
6.1 湖仓架构/159
6.1.1 Azure、AWS 和Open Data Lakehouse / 160
6.1.2 Hudi、IceBerg 和Delta Lake  /165
6.2 数据仓库存储架构/172
6.2.1 单机存储架构  /172
6.2.2 分布式共享存储  /173
6.3 典型存储格式/175
6.3.1 行存储  /176
6.3.2 列存储  /177
6.3.3 行列混合存储  /178
6.4 关键数据结构、索引与压缩技术/ 180
6.4.1 数据结构  /180
6.4.2 索引实现  /186
6.4.3 典型压缩算法  /197
6.5 数据分区技术/204
6.5.1 哈希分区  /205
6.5.2 Range 分区 / 206
6.5.3 其他数据分布模式  /207
6.5.4 数据冷热分层及生命周期管理 /208
6.6 数据一致性和可用性/209
6.6.1 数据一致性概念与分级  /210
6.6.2 二阶段提交  /212
6.6.3 多版本并发控制  /213
6.6.4 分布式一致性协议  /215
6.6.5 数据可用性  /219
6.6.6 数据实时性  /220
6.6.7 备份恢复  /221
第7章 资源管理与调度/223
7.1 云上资源调度的挑战与机遇/224
7.1.1 Serverless 的服务级别协议 / 224
7.1.2 多租户系统  /224
7.1.3 预测模型  /225
7.2 典型资源调度框架/225
7.2.1 Yarn/Yarn2  /225
7.2.2 Mesos  /229
7.2.3 Kubernetes  /232
7.3 AnalyticDB资源调度实践/238
7.3.1 云库存调度 / 238
7.3.2 资源利用率  /240
7.3.3 按需弹性  /245
第8章 AnalyticDB云上应用实践/247
8.1 实例创建/248
8.2 数据接入/250
8.2.1 Serverless 的服务级别协议 / 250
8.2.2 数据导入方式介绍  /250
8.2.3 数据导入性能优化  /254
8.3 数据类型和基本操作/257
8.3.1 数据类型 / 257
8.3.2 系统函数  /257
8.3.3 物化视图  /258
8.3.4 全文检索 / 259
8.3.5 DDL  /262
8.3.6 DML  /263
8.3.7 DQL  /263
8.3.8 DCL / 264
8.3.9 元数据库数据字典  /264
8.4 查询优化/264
8.4.1 智能诊断与调优 / 264
8.4.2 调优查询  /270
8.5 运维管理/276
8.5.1 工作负载管理  /276
8.5.2 监控与报警  /277
8.5.3 安全管理  /277
8.5.4 备份与恢复  /279
8.5.5 变配与扩容 / 279
8.5.6 维护时间与运维事件  /281
8.5.7 数据资产管理  /282
8.5.8 标签管理 / 283
8.6 最佳实践/283
8.6.1 数据资产管理  /283
8.6.2 数据变更最佳实践  /286
8.6.3 数据查询最佳实践  /287
8.6.4 负载管理最佳实践  /287
8.7 典型应用场景/290
8.7.1 实时数据仓库 / 290
8.7.2 精准营销  /290
8.7.3 商业智能报表  /290
8.7.4 多源联合分析  /291
8.7.5 交互式查询  /291
参考文献/292

写作背景
随着数字化时代的到来，数据已经成为企业和组织最重要的资产之一。为了有效管理、分析和利用数据，数据仓库技术应运而生。随着大数据、云计算和人工智能等新兴技术的迅速崛起，数据仓库的构建正面临前所未有的挑战和机遇。传统数据仓库往往依赖固定的本地硬件资源，难以适应不断变化的业务需求和数据规模激增的状况，包括处理大规模数据的能力、支持快速变化业务需求的灵活性及资源配置的优化等。云计算的崛起为解决这些问题提供了新的契机。
云计算以其弹性、可扩展性和按需付费的特点，重塑了数据存储和处理的方式。与此同时，云原生技术的兴起强调了微服务、容器化和自动化管理，使数据仓库能够更好地适应不断变化的商业环境。云原生数据仓库正是这样一种符合新时代需求的产品，它不仅是传统数据库在云计算平台上的一次重新部署，更是一次从整体架构上的彻底革新。在云计算的基础设施中，数据仓库的计算资源和存储资源被高度解耦，构建了一种灵活、可伸缩的服务模式，并转向无状态（Serverless）的计算模型，实现按需分配和实时扩展，从而智能地应对瞬息万变的业务负载。云原生数据仓库的出现使企业能够在复杂的应用环境中快速调整其数据架构，从而在激烈的市场环境中保持竞争力。
随着技术的进步，云原生数据仓库在架构设计、计算引擎、存储及资源管理等方面也出现了众多的关键技术。这些技术不仅突破了原有的系统瓶颈，还通过实施细致入微的优化策略，使数据查询和分析能够以更高的性能和更低的资源成本完成。亚马逊的Redshift、谷歌的BigQuery 及阿里巴巴的AnalyticDB 等云原生数据仓库，都是这一技术演进的生动写照，充分体现了云原生架构在实际应用中的广泛适用性和巨大优势。
近年来，越来越多的企业选择将数据仓库迁移至云平台，借助云计算的弹性与高可用性，寻求更高效的决策支持和商业智能。本书全面探讨云原生数据仓库的理论与实践，涵盖其架构设计、技术实现及最佳实践等内容，以帮助读者深入理解这一快速演化领域的关键技术与应用场景。无论是技术专家、企业决策者，还是希望借助云技术提升数据处理能力的从业者，都能从本书中受益。
主要内容
本书共分为8 章，内容逐步深入，旨在帮助读者全面理解云原生数据仓库的概念、技术和应用。
第1 章回顾了数据仓库与大数据处理技术的发展历程，包括云原生、分布式架构和Serverless 等关键概念，以及它们在数据处理中的重要性与未来趋势。
第2 章探讨了数据仓库与云计算的关系，重点阐述云原生数据仓库面临的机遇与挑战及特点，强调了在云计算背景下，数据仓库从物理资源到服务的转变。
第3 章详细介绍了云原生数据仓库架构的设计理念，重点比较了不同云原生产品（如Redshift、Snowflake、BigQuery、Datebricks 及AnalyticDB）的技术特性，并通过案例分析揭示成功实现云原生数据仓库的关键因素。
第4 章和第5 章深入讨论了计算引擎关键技术和优化器关键技术。这部分内容将阐述执行模型、分布式执行框架、优化技术分类及实践经验，旨在帮助读者理解其在云原生数据仓库中的重要作用。
第6 章介绍数据仓库存储关键技术，探讨存储架构、压缩技术及数据分区等，说明如何提高数据读写效率并优化存储成本。
第7 章讨论了资源管理与调度的挑战与技术框架，介绍了在实践中如何高效配置和管理资源，以应对不断变化的业务需求。
第8 章以AnalyticDB 云上应用实践为重点，提供了实例创建、数据接入、查询优化及运维管理等方面的最佳实践和典型应用场景，帮助读者将理论与实践相结合，更好地应对数据处理与分析的挑战。
致谢
本书由阿里云数据库产品事业部的李飞飞和华东师范大学的周烜教授领衔撰写。参与内容撰写的还有周烜团队的胡卉芪副教授和杨程程研究员，以及李飞飞团队的林亮研究员和资深技术专家王远。阿里云数据库团队的王振华、尹烨、涂继业、蔡利军、李伟等多位技术专家，以及华东师范大学的蔡万里、刘晟驰、曹汇杰、张轶楠、陈睿皓、杨光舜、杨杰、陈煜等多位同学，也提供了重要的支持和帮助，在此一并表示感谢。
特别感谢中国工程院院士郑玮民为本书作序。
特别感谢周傲英校长、杜小勇教授、袁野教授、屠要峰总经理、刘松巍首席技术官、蒋维总经理为本书做推荐。
感谢阿里云数据库产品事业部高校合作经理肖司淼所做的组织策划工作。
感谢电子工业出版社博文视点的宋亚东编辑所做的组织策划和出版工作。
正是所有人的努力才促成了本书的面世。
由于时间有限，书中难免存在不足之处，恳请广大读者批评指正！

作 者

本书配套资源下载

对不起，暂无音视频资源！

云原生数据仓库：原理与实践