具体描述
《hbase权威指南》探讨了如何通过使用与hbase高度集成的hadoop将hbase的可伸缩性变得简单;把大型数据集分布到相对廉价的商业服务器集群中;使用本地java客户端,或者通过提供了rest、avro和thrift应用编程接口的网关服务器来访问hbase;了解hbase架构的细节,包括存储格式、预写日志、后台进程等;在hbase中集成mapreduce框架;了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。
《hbase权威指南》适合使用hbase进行数据库开发的高级数据库研发人员阅读
作者简介
lars george,hbase的committer,cloudera公司的解决方案架构师,主要为hadoop和hbase提供技术支持、咨询和培训工作。他多次在各种hadoop用户组会议和大型会议中发表演讲,如布鲁塞尔的fosdem会议。
目录信息
第1章 简介 1
1.1 海量数据的黎明 1
1.2 关系数据库系统的问题 5
1.3 非关系型数据库系统not-only-sql(简称nosql) 7
1.3.1 维度 9
1.3.2 可扩展性 12
1.3.3 数据库的范式化和反范式化 12
1.4 结构 15
1.4.1 背景 15
1.4.2 表、行、列和单元格 16
1.4.3 自动分区 20
1.4.4 存储api 21
1.4.5 实现 22
1.4.6 小结 25
1.5 hbase:hadoop数据库 25
1.5.1 历史 26
1.5.2 命名 27
1.5.3 小结 27
第2章 安装 28
.2.1 快速启动指南 28
2.2 必备条件 31
2.2.1 硬件 31
2.2.2 软件 37
2.3 hbase使用的文件系统 47
2.3.1 本地模式 48
2.3.2 hdfs 49
2.3.3 s3 49
2.3.4 其他文件系统 50
2.4 安装选项 50
2.4.1 apache二进制发布包 50
2.4.2 编译源码 52
2.5 运行模式 53
2.5.1 单机模式 53
2.5.2 分布式模式 53
2.6 配置 57
2.6.1 hbase-site.xml与hbase-default.xml 58
2.6.2 hbase-env.sh 59
2.6.3 regionserver 59
2.6.4 log4j.properties 59
2.6.5 配置示例 59
2.6.6 客户端配置 61
2.7 部署 61
2.7.1 基于脚本 62
2.7.2 apache whirr 63
2.7.3 puppet与chef 63
2.8 操作集群 64
2.8.1 确定安装运行 64
2.8.2 web ui介绍 65
2.8.3 shell介绍 66
2.8.4 关闭集群 66
第3章 客户端api:基础知识 68
3.1 概述 68
3.2 crud操作 69
3.2.1 put方法 69
3.2.2 get方法 87
3.2.3 删除方法 97
3.3 批量处理操作 107
3.4 行锁 110
3.5 扫描 114
3.5.1 介绍 114
3.5.2 resultscanner类 117
3.5.3 缓存与批量处理 119
3.6 各种特性 125
3.6.1 htable的实用方法 125
3.6.2 bytes类 127
第4章 客户端api:高级特性 129
4.1 过滤器 129
4.1.1 过滤器简介 129
4.1.2 比较过滤器 132
4.1.3 专用过滤器 139
4.1.4 附加过滤器 147
4.1.5 filterlist 151
4.1.6 自定义过滤器 153
4.1.7 过滤器总结 159
4.2 计数器 160
4.2.1 计数器简介 160
4.2.2 单计数器 163
4.2.3 多计数器 164
4.3 协处理器 166
4.3.1 协处理器简介 167
4.3.2 coprocessor类 168
4.3.3 协处理器加载 171
4.3.4 regionobserver类 174
4.3.5 masterobserver类 180
4.3.6 endpoint 184
4.4 htablepool 190
4.5 连接管理 194
第5章 客户端api:管理功能 197
5.1 模式定义 197
5.1.1 表 197
5.1.2 表属性 199
5.1.3 列族 202
5.2 hbaseadmin 207
5.2.1 基本操作 208
5.2.2 表操作 209
5.2.3 模式操作 217
5.2.4 集群管理 219
5.2.5 集群状态信息 222
第6章 可用客户端 230
6.1 rest、thrift和avro的介绍 230
6.2 交互客户端 233
6.2.1 原生java 233
6.2.2 rest 233
6.2.3 thrift 240
6.2.4 avro 244
6.2.5 其他客户端 245
6.3 批处理客户端 246
6.3.1 mapreduce 246
6.3.2 hive 246
6.3.3 pig 252
6.3.4 cascading 256
6.4 shell 257
6.4.1 基础 257
6.4.2 命令 259
6.4.3 脚本 263
6.5 基于web的ui 265
6.5.1 master的ui 265
6.5.2 region服务器的ui 270
6.5.3 共享页面 272
第7章 与mapreduce集成 275
7.1 框架 275
7.1.1 mapreduce介绍 275
7.1.2 类 276
7.1.3 支撑类 279
7.1.4 mapreduce的执行地点 279
7.1.5 表拆分 280
7.2 在hbase之上的mapreduce 281
7.2.1 准备 281
7.2.2 数据流向 286
7.2.3 数据源 291
7.2.4 数据源与数据流向 293
7.2.5 自定义处理 296
第8章 架构 299
8.1 数据查找和传输 299
8.1.1 b+树 299
8.1.2 lsm树 300
8.2 存储 302
8.2.1 概览 303
8.2.2 写路径 304
8.2.3 文件 305
8.2.4 hfile格式 313
8.2.5 keyvalue格式 316
8.3 wal 316
8.3.1 概述 317
8.3.2 hlog类 318
8.3.3 hlogkey类 319
8.3.4 waledit类 319
8.3.5 logsyncer类 319
8.3.6 logroller类 320
8.3.7 回放 321
8.3.8 持久性 324
8.4 读路径 325
8.5 region查找 328
8.6 region生命周期 330
8.7 zookeeper 330
8.8 复制 333
8.8.1 log edit的生命周期 334
8.8.2 内部机制 335
第9章 高级用法 339
9.1 行键设计 339
9.1.1 概念 339
9.1.2 高表与宽表 341
9.1.3 部分键扫描 342
9.1.4 分页 343
9.1.5 时间序列 344
9.1.6 时间顺序关系 348
9.2 高级模式 350
9.3 辅助索引 350
9.4 搜索集成 354
9.5 事务 357
9.6 布隆过滤器 358
9.7 版本管理 361
9.7.1 隐式版本控制 361
9.7.2 自定义版本控制 364
第10章 集群监控 366
10.1 介绍 366
10.2 监控框架 367
10.2.1 上下文、记录和监控指标 367
10.2.2 master监控指标 372
10.2.3 region服务器监控指标 373
10.2.4 rpc监控指标 375
10.2.5 jvm监控指标 376
10.2.6 info监控指标 377
10.3 ganglia 378
10.3.1 安装 379
10.3.2 用法 383
10.4 jmx 386
10.4.1 jconsole 388
10.4.2 jmx远程api 390
10.5 nagios 394
第11章 性能优化 395
11.1 垃圾回收优化 395
11.2 本地memstore分配缓冲区 398
11.3 压缩 399
11.3.1 可用的编解码器 400
11.3.2 验证安装 401
11.3.3 启用压缩 403
11.4 优化拆分和合并 404
11.4.1 管理拆分 404
11.4.2 region热点 405
11.4.3 预拆分region 406
11.5 负载均衡 407
11.6 合并region 408
11.7 客户端api:最佳实践 409
11.8 配置 411
11.9 负载测试 414
11.9.1 性能评价 414
11.9.2 ycsb 416
第12章 集群管理 421
12.1 运维任务 421
12.1.1 减少节点 421
12.1.2 滚动重启 423
12.1.3 新增服务器 424
12.2 数据任务 428
12.2.1 导入/导出 428
12.2.2 copytable工具 433
12.2.3 批量导入 435
12.2.4 复制 438
12.3 额外的任务 440
12.3.1 集群共存 440
12.3.2 端口要求 442
12.4 改变日志级别 442
12.5 故障处理 443
12.5.1 hbase fsck 443
12.5.2 日志分析 445
12.5.3 常见问题 447
附录a hbase配置属性 451
附录b 计划 467
附录c 版本升级 469
附录d 分支 471
附录e hush sql schema 473
附录f 对比hbase和bigtable 475
· · · · · · (收起)
读后感
用户评价
**从一个纯粹的架构设计角度来看,这本书对“如何设计一套健壮的、可扩展的业务模型”的指导意义,远超出了技术本身。** 它教会我的不是如何配置某一个参数,而是如何用分布式的思维去审视业务需求。书中通过对时序数据存储、用户画像构建等经典场景的建模分析,展示了如何利用HBase的稀疏性、列族设计来优化存储空间和查询效率。例如,它讨论了如何通过Row Key的设计,巧妙地实现时间范围查询的优化,避免全表扫描的灾难。更进一步,它对Region分裂策略的探讨,让我明白了,一个设计良好的数据模型,能够让底层的资源自动优化分配,从而减少了人为干预的需要。这本书的深度和广度,让我清晰地认识到,在数据爆炸的时代,技术选型和数据结构设计,才是决定一个产品未来生命力的关键所在。它是一份严肃的、面向未来挑战的知识储备。
**对于那些正在经历从单机数据库迁移到分布式平台的工程师来说,这本书的迁移章节简直是“避坑宝典”。** 我们团队最近在进行核心业务的数据平台升级,面临的最大挑战就是如何安全、平滑地过渡,同时最大程度减少对线上服务的影响。这本书中专门用一章的篇幅来讨论了数据迁移的策略,从快照工具的使用规范,到数据一致性校验的脚本范例,描述得极其详尽。它甚至预见性地指出了迁移过程中可能遇到的网络分区、数据丢失等“黑天鹅”事件,并提供了对应的回滚预案。与我之前阅读的其他书籍相比,这本书的实战派风格体现得淋漓尽致——它不是告诉你“应该怎么做”,而是告诉你“在真实世界中,人们实际是怎么做,以及为什么这么做会失败”。通过对HBase在不同云厂商环境下的部署实践的介绍,也极大地拓宽了我的视野,让我明白基础技术在不同基础设施下的具体实现差异。
**如果说有什么书能让你从一个“能用”的水平跨越到“精通”的境界,那绝对是这本书对底层存储原理的深度挖掘。** 相比市面上那些只停留在API调用层面的入门书籍,这本书的价值在于它敢于掀开盖子,直面最底层的LSM树结构。它详尽地阐述了MemStore的刷写机制、WAL(Write-Ahead Log)如何保证数据的持久性,以及Compaction(合并)策略对读取性能的决定性影响。我曾经花费数周时间都无法理解,为什么在某些写入高峰期,查询延迟会突然飙升;这本书通过对Minor Compaction和Major Compaction的参数化分析,揭示了这背后的资源争抢和锁竞争问题。更让我惊叹的是,书中对Block Cache和Bucket Cache的对比分析,不仅给出了性能指标,还结合不同的工作负载场景给出了明确的选型建议。这种层次感和颗粒度,让我在设计新的数据管道时,不再是盲目地堆砌硬件,而是能从根本上理解性能瓶颈的根源所在。这本书的价值,在于它赋予了读者审视和改造系统的“手术刀”。
**不得不提的是,这本书的章节编排逻辑和索引设计,极大地提升了学习效率,对于我这种时间紧张的专业人士来说非常友好。** 尽管内容浩瀚,但作者巧妙地将概念引入、原理剖析和实践操作穿插进行,形成了一个完整的知识闭环。当你刚理解一个概念时,紧接着就能看到对应的CLI命令和Java API代码示例,这种即时反馈的学习体验是无与伦比的。我特别喜欢它在讲解客户端编程时,对并发控制和超时设置的细致讲解。例如,关于`Scan`操作中的`caching`参数对网络IO和CPU的影响分析,清晰地展示了“方便”与“性能”之间的微妙平衡。它甚至深入到了如何定制自己的协处理器(Coprocessor)来实现服务端逻辑的封装,并对协处理器的部署和版本管理给出了谨慎的建议。这本书不是那种读完就束之高阁的参考书,而是一本会伴随你解决实际问题、随时翻阅的工具箱。
**这本关于分布式系统的力作,简直是数据架构师的“圣经”!** 我最近深入研读了这本厚厚的著作,尤其对其中关于CAP理论在实际大规模集群部署中的权衡与取舍的部分印象深刻。作者没有停留在理论的空中楼阁,而是将复杂的数据一致性模型,通过大量的真实案例和详细的配置参数解析,生动地展示出来。例如,书中对RegionServer的负载均衡机制的剖析,细致到每一个内部线程如何调度数据块,如何处理写冲突,这对于我们日常运维中遇到的性能瓶颈排查简直是雪中送炭。我尤其欣赏它对数据模型的演进过程的描述,从早期的设计缺陷到如今的优化策略,逻辑清晰,循序渐进。书中关于冷热数据分离和TTL策略的讲解,提供了一套完整的实操蓝图,让原本模糊不清的优化方向变得具体可行。读完后,我对如何构建一个既能保证高可用性,又能满足亚秒级查询延迟的TB级数据存储系统,有了一个脱胎换骨的认识。它不仅仅是一本技术手册,更像是一份浸透了实战经验的架构哲学指南,让人读完后有一种“醍醐灌顶”的快感。
能大到整体架构,又能细到源码,还能画得一手好图,也避免了整版得源码堆积,非常棒
入门很不错,讲解算是详细
大部分内容在hbase ref guide和big table论文都有说明了,对coprocessor说明得比较详细,当做参考书还不错。要在使用中踩踩坑才能更有经验啊
一贯的XXX Definitive Guide风格
大部分内容在hbase ref guide和big table论文都有说明了,对coprocessor说明得比较详细,当做参考书还不错。要在使用中踩踩坑才能更有经验啊