首页 > 科技 > 计算机 > 数据库

大数据猩球：海量数据处理实践指南

作译者：唐李洋

出版时间：2016-08 千字数：313 版次：01-01 页数：212

开本：16开装帧： I S B N ：9787121294181

换版：

纸质书定价：￥69.0

库存:有

分享到：

共有图书评论0条【查看评论摘要】

看了又看

{{data.bookName}}

￥{{data.price}}

内容简介

前言

上架建议

作者简介

编辑推荐

音视频专区

前言 ..................................................................................................XI
第一部分　入门 ：理论和工具
第 1 章　Hadoop 基础 ........................................................................3
黑猩猩和大象创业 .................................................................................................................4
Map-Only 作业 ：逐个处理记录 ...........................................................................................5
Pig Latin Map-Only 作业........................................................................................................6
创建 Docker Hadoop 集群 ......................................................................................................8
运行作业 .......................................................................................................................12
小结 .......................................................................................................................................15
第 2 章　MapReduce........................................................................17
黑猩猩和大象拯救圣诞节 ...................................................................................................17
玩具岛上的麻烦 ...........................................................................................................17
黑猩猩把信件变成带标签的玩具表 ...........................................................................19
小象将玩具表送到适当的工作台 .......................................................................................21
示例 ：驯鹿游戏 ...................................................................................................................23
UFO 数据 ......................................................................................................................24
根据报道延迟对 UFO 目击分组 .................................................................................24
Mapper ..........................................................................................................................24
Reducer .........................................................................................................................26
数据可视化 ...................................................................................................................29
驯鹿小结 .......................................................................................................................30
Hadoop 与传统数据库 .........................................................................................................30
MapReduce 俳句 ...................................................................................................................31
Map 阶段简述 ..............................................................................................................32
Group-Sort 阶段简述 ...................................................................................................32
Reduce 阶段简述 ..........................................................................................................32
小结 .......................................................................................................................................33
第 3 章　棒球数据集速览 ..................................................................35
数据 .......................................................................................................................................35
缩略词和术语 .......................................................................................................................36
规则和目标 ...........................................................................................................................37
评价指标 ...............................................................................................................................37
小结 .......................................................................................................................................38
第 4 章　Pig 入门 ..............................................................................39
Pig 帮助 Hadoop 处理数据表，而不是记录 ......................................................................39
维基百科访问数统计 ...................................................................................................41
基本数据操作 .......................................................................................................................43
控制操作 .......................................................................................................................44
管道操作 .......................................................................................................................44
结构化操作 ...................................................................................................................44
LOAD 定位并描述你的数据 ...............................................................................................46
简单类型 .......................................................................................................................46
复杂类型 1，元组 ：带类型字段的固长序列 ............................................................47
复杂类型 2，袋 ：元组的无限集合 ............................................................................47
定义变换后的记录模式 ...............................................................................................48
STORE 将数据写入磁盘 .....................................................................................................49
辅助命令 ...............................................................................................................................50
DESCRIBE ...................................................................................................................50
DUMP ...........................................................................................................................50
SAMPLE .......................................................................................................................50
ILLUSTRATE ...............................................................................................................51
EXPLAIN......................................................................................................................51
Pig 函数 .................................................................................................................................51
Piggybank ..............................................................................................................................53
Apache DataFu ......................................................................................................................56
小结 .......................................................................................................................................59
第二部分　战术 ：分析模式
第 5 章　Map-Only 操作 ...................................................................63
模式用法 .......................................................................................................................63
清除数据 ...............................................................................................................................64
选择满足条件的记录 ：FILTER 等 .....................................................................................65
选择满足多个条件的记录 ...........................................................................................66
选择或丢弃空值记录 ...................................................................................................66
选择匹配正则表达式的记录（MATCHES） ..............................................................67
根据固定的值列表匹配记录 .......................................................................................70
按字段名投影字段 ...............................................................................................................71
使用 FOREACH 选择、重命名和重排序字段 ..........................................................71
抽取记录的随机样本 ...................................................................................................73
按 key 抽取一致性样本 ...............................................................................................74
仅加载部分 part-Files 实现粗略抽样 .........................................................................75
使用 LIMIT 选择固定数量的记录..............................................................................75
其他数据消除模式 .......................................................................................................76
变换记录 ...............................................................................................................................76
使用 FOREACH 逐个变换记录 ..................................................................................76
嵌套 FOREACH 允许使用中间表达式 ......................................................................77
根据模版格式化字符串 ...............................................................................................79
使用复杂类型组装字面值 ...........................................................................................80
操纵字段的类型 ...........................................................................................................84
整型、浮点型和取整 ...................................................................................................86
从外部包调用用户自定义函数 ...................................................................................87
将一个表分裂成多个表的操作 ...........................................................................................88
将数据条件定向到多个数据流 (SPLIT) ....................................................................88
将几个表联合成一个表的操作 ...........................................................................................89
将多个 Pig 关系表合并成一个表（堆砌行集） .........................................................89
小结 .......................................................................................................................................91
第 6 章　分组操作 .............................................................................93
按 key 将记录分组到袋 .......................................................................................................93
模式用法 .......................................................................................................................97
统计 key 的出现次数 ...................................................................................................97
使用带分隔符的字符串表示值的集合 .......................................................................99
使用带分隔符的字符串表示复杂数据结构 .............................................................101
使用 JSON 编码的字符串表示复杂数据结构 .........................................................102
分组和聚合 .........................................................................................................................106
聚合组的统计数据 .....................................................................................................106
完全汇总字段 .............................................................................................................108
汇总整个表的聚合统计值 .........................................................................................110
汇总字符串字段 ......................................................................................................... 111
使用直方图计算数值型值的分布情况 .............................................................................113
模式用法 .....................................................................................................................114
直方图的数据分箱 .....................................................................................................114
确定箱子的大小 .........................................................................................................116
解释直方图和分位数 .................................................................................................118
将数据分箱到规模呈指数变化的块 .........................................................................119
为通用代码段创建 Pig 宏 .........................................................................................121
比赛分布情况 .............................................................................................................121
极端情况和干扰因子 .................................................................................................122
不要相信尾部分布 .....................................................................................................125
计算相对分布直方图 .................................................................................................126
重新注入全局值 .........................................................................................................127
在组内计算直方图 .....................................................................................................128
导出可读结果 .............................................................................................................130
汇总技巧 .............................................................................................................................132
统计组的条件子集——汇总技巧 .............................................................................132
同时汇总组的多个子集 .............................................................................................134
测试组内某个值是否缺失 .........................................................................................136
小结 .....................................................................................................................................137
参考文献 .............................................................................................................................138
第 7 章　表连接 ..............................................................................139
匹配表记录（内连接） ......................................................................................................140
将一个表的记录与另一个表的记录直接匹配连接（直接内连接） .......................140
连接是怎么工作的 .............................................................................................................142
连接就是 COGROUP+FLATTEN .............................................................................142
连接就是在表名上进行二次排序的 MapReduce 作业 ...........................................143
处理连接和分组中的空值和不匹配 .........................................................................145
枚举多对多关系 .................................................................................................................147
连接表和它自己（自连接） ...............................................................................................148
包含不匹配记录的连接（外连接） ...................................................................................150
模式用法 .....................................................................................................................152
连接不含外键关系的表 .............................................................................................153
连接整型表填补列表中的空白 .................................................................................155
仅选择与另一个表不匹配的记录（反连接） ...................................................................157
仅选择与另一个表匹配的记录（半连接） .......................................................................158
反连接的另一种方式 ：使用 COGROUP .................................................................158
小结 .....................................................................................................................................160
第 8 章　排序操作 ...........................................................................161
准备职业生涯时期 .............................................................................................................161
对所有记录进行全排序 .....................................................................................................163
多字段排序 .................................................................................................................164
表达式排序（行不通） ...............................................................................................164
大小写不敏感的字符串排序 .....................................................................................165
排序的空值处理 .........................................................................................................165
将值放到排序顺序的顶部或底端 .............................................................................166
组内排序 .............................................................................................................................167
模式用法 .....................................................................................................................169
根据字段值的 Top-K 选择行 ....................................................................................169
组内 Top-K .................................................................................................................170
按照排序顺序给记录编号 .................................................................................................170
找出最大值对应的记录 .............................................................................................171
对一组记录进行混排 .................................................................................................171
小结 .....................................................................................................................................172
第 9 章　重复记录和唯一记录 .........................................................173
处理重复 .............................................................................................................................173
消除表中的重复记录 .................................................................................................174
消除组内的重复记录 .................................................................................................174
基于键消除重复 .........................................................................................................175
基于键选择唯一（或重复）记录 .............................................................................176
集合操作 .............................................................................................................................177
全表上的集合操作 .....................................................................................................178
Distinct Union .............................................................................................................179
Distinct Union（其他方法） .......................................................................................179
Set Intersection ............................................................................................................179
Set Difference .............................................................................................................180
Symmetric Difference ：(A-B)+(B-A) ........................................................................180
Set Equality .................................................................................................................181
组内集合操作 .............................................................................................................182
构造一个集合序列 .....................................................................................................182
某个组内的集合操作 .................................................................................................183
小结 .....................................................................................................................................185
索引 ................................................................................................187

前言
《大数据猩球：海量数据处理实践指南》以实用、可操作的视角解释了大数据，以经过检验的最佳实践为中心，向读者展示了Hadoop的实战智慧。
读者将对大数据形成有用的、概念性的认识。数据就是洞察力，关键是理解大数据的可扩展性（scalability）：即无限规模的数据取决于相异的枢轴点（pivot point）。我们会教你如何运用这些枢轴点进行数据操作。
最后，本书提供了真实数据和实际问题的具体示例，将概念和实际应用相结合。

本书梗概
《大数据猩球：海量数据处理实践指南》讲述了如何使用简单、有趣、精致的工具，解决大规模数据处理中的重要问题。
从超大规模的事件流中发现模式是一件重要而且困难的事情。大部分时候，地震是不会发生的——但是模式能够根据平静时期的数据提前预测是否会发生地震。如何在数以亿计的事件中逐个对比数万亿个连续事件，从而发现极少数事关紧要的事件呢？一旦找到了这些模式，如何实时地做出响应？
我们选用大家都能够理解的案例，而且它们具有普适性，能够适用于其他问题解决的场景。我们的目的是向读者提供：
■ 大规模思考的能力——使读者深刻理解如何将一个问题分解为有效的数据转换（data transformation），以及集群中的数据流动如何影响这些转换。
■ 用详细的示例代码在场景中展现如何使用Hadoop解决有意思的问题。
■ 关于有效软件开发的建议和最佳实践。
本书的全部示例都采用真实数据，用来描述很多问题领域中的模式，包括：
■ 创建统计概要。
■ 识别数据中的模式和组。
■ 批量查找、过滤和移动记录。
本书强调简洁性和趣味性，特别吸引初学者，但同样适合有经验的人。你会发现本书为有创造力的分析人员提供了最强大、最有价值的方法。我们的座右铭是“机器人是廉价的，而人是重要的”： 编写可读的、可扩展的代码，然后再确定是否需要一个较小的集群。本书的代码改编自Infochimps和Data Syndrome解决企业级业务问题的程序，这些简单的高级转换能够满足我们的需求。
很多章节都配有练习。如果你是初学者，我们强烈建议你每一章都至少完成一个练习。在面前摆本书看，不如边看书边写代码学得更深入。本书官网上有一些简单的解决方案和结果数据集。

本书适合谁
我们希望你至少熟悉一种编程语言，并不一定非要是Python或Pig。熟悉SQL会有些帮助，但这不是必需的。如果有商务智能方面的数据工作经历或分析背景，会很有帮助。
更重要的是，你应该有一个需要大数据工具箱来解决问题的实际项目——这个问题要求在多个机器之间横向扩展（scale out）。如果你没有这样的项目，但又确实很想学习大数据工具箱，看一下第3章，我们采用棒球数据。这是一个探索起来很有趣的大型数据集。

本书不适合谁
本书不是《Hadoop权威指南》（Hadoop: The Definitive Guide，已出版），而更像是《Hadoop固执指南》（Hadoop: A Highly Opinionated Guide）。本书唯一提到裸Hadoop API的地方就是，“大多数情况下，不要使用它”。我们推荐以某种空间不高效的格式存储数据，还有很多时候我们鼓励以小部分的性能损失换取程序员更多的愉悦。本书不厌其烦地强调编写可扩展的代码，却只字不提编写高性能的代码，因为获取成倍加速比的最佳途径是使用双倍数量的机器。
这是因为，对大部分人来说，集群的成本远远低于数据科学家使用它的机会成本。如果数据不仅大，还很巨大（比如100TB），而且我们期望在生产线上不断地运行作业，那就需要考虑其他权衡了。但是，即使是PB级规模，仍然要按照我们介绍的方式来开发。
本书涉及Hadoop的提供和部署问题，以及一些重要的设置。但是并没有真正介绍任何高级算法、操作或调优问题。

本书没有包括的内容
目前我们不讨论Hive。对于熟悉Hive的人，Pig脚本能够天然地翻译成Hive。
本书讲的是互联网上没有的东西。我们不准备花时间介绍基础教程和核心文档。另外，我们也不会涉及以下内容：
Hadoop的安装或维护。
其他类MapReduce的平台（Disco、Spark等），或其他框架（Wukong、Scalding、Cascading）。
有时候我们用到了Unix测试工具包（cut/wc/etc），但只是作为工具临时用一下。我们并不会深入讲述这些东西，有其他O’Reilly书籍详细介绍这些实用工具。

理论：黑猩猩和大象
从第2章开始，你会看到黑猩猩和大象公司（Chimpanzee and Elephant Company）热情的员工们。大象记性好（内存很大），易于进行大规模迁移。通过大象类比组装数据，有助于理解移动超大量数据的易点和难点。黑猩猩聪明，但是一次只能考虑一件事情。它们展示了如何在单个关注点下实现简单的转换，以及如何在不占用更多空间的情况下分析PB级的数据。
黑猩猩和大象结合起来，共同隐喻了如何处理大规模数据。

实战：Hadoop
Doug Cutting说，Hadoop是“大数据操作系统的内核”。Hadoop是最主流的批处理方案，既有商用企业支持，也拥有庞大的开源社区，能够在每一个平台和云上运行——短期内这种形势并不会改变。
本书中的代码无须改动即可在你的笔记本电脑或企业级Hadoop集群上运行。我们使用docker提供一个虚拟Hadoop集群，你可以在自己的笔记本上运行。

关于Python和MrJob
我们选择Python有两个原因。第一，作为一种高级语言（除了Python，还有Scala、R等），Python既拥有完美的Hadoop框架又具备广泛的支持。更重要的是，Python是一种可读性很强的语言。本书提供的示例代码能够清晰地映射到其他高级语言，而且我们推荐的方法在任何语言中都是可用的。
具体来说，我们选择Python语言框架MrJob。这是一个广泛使用的开源框架。

查看更多 > 图书评论

暂无评论

发表图书评论

评论标题：
评论内容：
验证码：: 看不清楚
点击刷新
: 您还没有登录，请登录后再评论。
点击“登录”

购买过本书的顾客还买过

{{data.bookName}}

￥{{data.price}}