具体描述
本书手把手教你手动配置高效的Hadoop集群，以便充分利用Hadoop平台的优势, 并为Hadoop生态系统实现强健的端到端的安全保障。
本书分为两部分，共13章：第1章概述主要的Hadoop组件以及选择规划；第2章讲解安装和配置主要Hadoop组件的详细步骤；第3章介绍Sqoop、Hive和Impala的配置步骤；第4章讲解确保各种Hadoop组件安全的方法；第5章指导读者逐步将集群开发至实际应用阶段；第6章介绍如何在虚拟环境中使用Hadoop；第7章详细介绍大数据安全参考框架；第8章详细介绍Hadoop安全保障系统的内部设计细节以及关键概念；第9章提供配置Kerberos并建立安全Hadoop集群的详细步骤；第10章介绍Hadoop生态系统组件之间的交互和通信协议；第11章关注如何集成Hadoop安全模型与企业已有的安全系统；第12章提供保护Hadoop生态系统中敏感数据的详细实现方法；第13章深入介绍大数据平台中安全事件监控系统，提供实现安全流程和策略的最新实践。
作者简介
作者简介
Danil Zburivsky 资深数据库管理员，目前是全球数据基础构架管理公司Pythian的咨询师，其客户涉及金融、娱乐以及通信领域，主要方向是创建各种Hadoop集群。研究兴趣包括Python编程、机器学习等。
Sudheesh Narayanan 在大数据解决方案咨询与实施领域具有丰富经验的实践者和技术战略家。他在IT领域的经验超过15年，涉及信息管理、商务智能、大数据分析及云应用和J2EE应用开发等。
译者简介
刘杰 中国科学院软件所副研究员，具有多年Hadoop平台研发与实施经验，与团队一起研发基于Hadoop的可视化大数据分析工具Haflow，该工具应用于医疗、交通等多个领域。研究方向包括企业数据集成、面向大数据的系统软件、数据挖掘等。
沈鑫 毕业于同济大学计算机科学与技术系，资深网络工程师，从事网络安全、管理信息系统的开发与维护，参与开发了多个相关的项目。兴趣爱好是网络安全技术与嵌入式技术。
目录信息
译者序
作者简介
审校者简介
前言
第1章 构建Hadoop集群1
1.1 选择Hadoop集群硬件2
1.1.1 选择DataNode硬件3
1.1.2 低存储密度集群4
1.1.3 高存储密度集群5
1.1.4 NameNode和JobTracker硬件配置6
1.1.5 网关和其他辅助服务8
1.1.6 网络配置8
1.1.7 Hadoop硬件总结9
1.2 Hadoop发行版10
1.2.1 Hadoop版本10
1.2.2 选择Hadoop发行版11
1.2.3 Cloudera Hadoop 发行版11
1.2.4 Hortonworks Hadoop发行版12
1.2.5 MapR12
1.3 为Hadoop集群选择操作系统13
1.4 小结14
第2章 安装和配置Hadoop15
2.1 在Hadoop集群中配置操作系统15
2.1.1 选择和设置文件系统15
2.1.2 设置Java开发包16
2.1.3 其他操作系统设定17
2.1.4 设置CDH存储库18
2.2 设置NameNode18
2.2.1 JournalNode节点、ZooKeeper以及故障转移控制器22
2.2.2Hadoop配置文件23
2.2.3 NameNode高可用方案配置25
2.2.4 JobTracker配置31
2.2.5DataNode配置36
2.3 小结47
第3章 配置Hadoop生态系统48
3.1托管Hadoop生态项目48
3.2 Sqoop49
3.2.1安装和配置Sqoop49
3.2.2 Sqoop导入示例50
3.2.3 Sqoop导出示例52
3.3 Hive52
3.3.1Hive架构53
3.3.2安装Hive Metastore54
3.3.3 安装Hive客户端 56
3.3.4 安装Hive Server57
3.4Impala59
3.4.1 Impala架构59
3.4.2 安装Impala state store60
3.4.3 安装Impala server60
3.5 小结63
第4章 Hadoop安全64
4.1 Hadoop安全概述64
4.2 Hadoop分布式文件系统安全65
4.3 MapReduce安全66
4.4 Hadoop服务级别验证 68
4.5 Hadoop和Kerberos69
4.5.1 Kerberos概述70
4.5.2 Hadoop中的Kerberos71
4.6 小结76
第5章 监控Hadoop集群77
5.1 监控策略介绍77
5.2 Hadoop参数78
5.2.1 JMX参数79
5.2.2 使用Nagios监控Hadoop80
5.2.3 监控Hadoop分布式文件系统81
5.2.4 NameNode校验81
5.2.5 JournalNode检查83
5.2.6 ZooKeeper检查83
5.3 监控MapReduce84
5.4 使用Ganglia监控Hadoop85
5.5 小结86
第6章 在云端使用Hadoop87
6.1 Amazon Elastic MapReduce87
6.1.1 安装EMR命令行接口88
6.1.2 选择Hadoop版本89
6.1.3 启动EMR集群89
6.2 使用Whirr93
6.3 小结94
第7章 Hadoop平台安全概述95
7.1 为什么需要保障Hadoop生态系统的安全96
7.2 确保Hadoop生态系统安全面临的挑战96
7.3 关键安全因素97
7.4 小结99
第8章 Hadoop安全体系设计100
8.1 什么是Kerberos100
8.1.1 Kerberos关键术语101
8.1.2 Kerberos如何工作102
8.1.3 Kerberos 的优点103
8.2 不采用Kerberos的Hadoop默认安全模型103
8.3 Hadoop Kerberos 安全模型实现105
8.3.1 用户层次的访问控制105
8.3.2 服务层次的访问控制105
8.3.3 用户和服务认证106
8.3.4 授权令牌106
8.3.5 作业令牌106
8.3.6 数据块访问令牌107
8.4 小结108
第9章 配置一个安全Hadoop集群109
9.1 前提条件109
9.2 设置Kerberos110
9.3 配置Hadoop使用Kerberos认证117
9.3.1 在所有Hadoop节点设置Kerberos客户端117
9.3.2 配置Hadoop服务标识118
9.4 Hadoop用户设置124
9.5 安全Hadoop自动部署124
9.6 小结125
第10章 Hadoop生态系统安全保障126
10.1 为Hadoop生态系统组件配置Kerberos127
10.1.1 Hive安全设置127
10.1.2 Oozie安全设置130
10.1.3 Flume安全设置131
10.1.4 HBase安全设置134
10.1.5 Sqoop安全设置137
10.1.6 Pig安全设置138
10.2 Hadoop生态系统组件安全保障最佳实践138
10.3 小结139
第11章 集成Hadoop与企业安全系统140
11.1 集成EIM系统141
11.1.1 配置EIM与Hadoop集成142
11.1.2 集成基于Active Directory的EIM系统与Hadoop生态系统143
11.2 从企业网络访问安全Hadoop集群144
11.2.1 HttpFS145
11.2.2 HUE145
11.2.3 Knox Gateway Server146
11.3 小结147
第12章 Hadoop中敏感数据安全保护148
12.1 Hadoop中敏感数据及保护方法148
12.2 小结154
第13章 安全事件与审计日志155
13.1 Hadoop集群安全事故和事件监控155
13.2 Hadoop集群审计日志设置158
13.3 小结160
附录 Hadoop安全机制解决方案161
· · · · · · (收起)
读后感
用户评价
这本书的封面设计，那种沉稳的深蓝色调，配上简洁有力的银色字体，就已经透露出一种专业与可靠感。我一直对大数据技术充满好奇，尤其是Hadoop，它在海量数据处理方面的强大能力，让我觉得掌握它就像获得了一把开启未来宝藏的金钥匙。拿到这本《Hadoop集群与安全》，我最期待的就是它能否将Hadoop那些看似复杂的技术概念，用一种我能够理解的方式呈现出来。我特别关心它在集群搭建和优化的部分，毕竟一个稳定高效的Hadoop集群是后续所有工作的基础。想象一下，将数以TB计的数据在集群中自由驰骋，那种感觉一定非常震撼。当然，安全也是我非常看重的一点，在如今数据泄露频发的时代，如何保障Hadoop集群中的数据不被非法访问和篡改，是每一个数据工程师都必须面对的挑战。我希望这本书能够详细阐述Hadoop的安全机制，比如Kerberos认证、HDFS的权限管理以及数据加密等方面，并给出具体的实践案例，这样才能让我理论与实践相结合，真正地掌握Hadoop的精髓。我对于这本书能在安全方面提供一些前瞻性的指导也抱有很大期望，毕竟技术日新月异，只有不断学习和更新安全理念，才能在复杂的网络环境中立于不败之地。
一直以来，我对Hadoop集群的稳定性和安全性都非常重视。这本书的出现，恰好满足了我对这两个方面的深入了解的愿望。我期待这本书能够从集群的搭建开始，详细地介绍Hadoop各个组件的安装、配置以及它们之间的协同工作原理。我尤其关注书中在集群的容错和高可用性方面的内容，例如HDFS的副本机制，NameNode的高可用配置，以及YARN的资源调度策略，这些都对我构建一个可靠的大数据平台至关重要。在安全方面，我希望这本书能够系统地讲解Hadoop集群的安全防护措施，包括身份认证、访问控制、数据加密和安全审计。我期待书中能够提供关于Kerberos在Hadoop中的部署和使用的详细指导，以及如何利用HDFS的ACLs来实现细粒度的访问控制，确保数据的安全性。此外，我也希望能从书中学习到如何对Hadoop集群进行性能监控和调优，以及如何有效地进行故障排查和解决。我希望这本书能够为我提供一套完整的Hadoop集群管理和安全防护的实践指南，帮助我成为一名更加优秀的大数据工程师。
当我翻开《Hadoop集群与安全》这本书时，我首先被它严谨的排版和清晰的目录所吸引。我一直对Hadoop集群的架构和运维有深入学习的渴望，尤其是在安全方面，更是我关注的重点。我非常希望这本书能够全面地介绍Hadoop集群的各个组件，包括HDFS、MapReduce、YARN等，并详细讲解它们之间的相互作用和通信机制。我期待书中能提供关于如何搭建、配置和管理一个高可用、高性能的Hadoop集群的详细指南，覆盖从硬件选型到软件部署的每一个环节。在安全方面，我希望它能够系统地讲解Hadoop集群的安全防护措施，包括如何实现用户认证、访问控制、数据加密以及安全审计。我尤其希望书中能提供关于Kerberos认证、HDFS权限管理、TLS/SSL加密等技术的实践操作和配置技巧，帮助我构建一个安全可靠的大数据环境。此外，我希望这本书也能涉及一些关于Hadoop集群性能调优和故障排查的实用技巧，例如如何监控集群状态、如何分析日志文件、如何解决常见的集群问题等，从而让我能够更加从容地应对Hadoop集群的日常运维挑战。
我一直对Hadoop集群的调优和性能优化抱有浓厚的兴趣。这本书的标题“Hadoop集群与安全”也暗示了它会涉及集群的整体性能。我期望这本书能提供一套系统化的方法论，帮助我理解影响Hadoop集群性能的关键因素，并给出相应的调优策略。例如，在HDFS层面，如何调整块大小、副本数量，以及NameNode的内存配置；在MapReduce层面，如何优化Map和Reduce任务的数量、内存分配，以及 shuffle 阶段的参数设置；在YARN层面，如何合理分配队列资源，优化调度策略，以提高集群的整体吞吐量和响应速度。我希望书中能包含大量的配置参数解释和使用场景分析，并提供一些通用的性能调优指南，以及针对不同业务场景的优化案例。此外，我也希望这本书能介绍一些常用的Hadoop集群性能监控工具和方法，例如 Ganglia, Prometheus, Grafana 等，并指导我如何通过这些工具来收集和分析性能指标，及时发现集群的瓶颈并进行优化。能够通过这本书掌握Hadoop集群的性能调优技巧，对我而言将是极大的价值提升。
拿到《Hadoop集群与安全》这本书，我的第一反应是它的厚重感，这预示着内容的翔实和深度。我之前也零星接触过一些Hadoop的资料，但总觉得不成体系，像是在大海中漂浮的孤岛。我特别希望能在这本书中找到一个清晰的脉络，从Hadoop的整体架构入手，然后逐步深入到各个组件，比如HDFS、MapReduce、YARN等等，了解它们是如何协同工作的。我尤其关注书中关于集群部署的部分，无论是从零开始搭建一个Hadoop集群，还是对现有集群进行升级和扩展，都需要细致的操作步骤和详尽的配置说明。我期待书中能提供多种部署方案，比如单节点、伪分布式以及完全分布式集群的搭建流程，并对各种方案的优缺点进行分析，这样我就可以根据自己的实际需求选择最合适的方案。而且，一个搭建好的集群还需要持续的监控和维护，我希望书中能够包含一些关于性能调优和故障排查的实用技巧，例如如何识别瓶颈、如何优化MapReduce作业的执行效率，以及在遇到常见问题时如何快速定位和解决。我对书中关于Hadoop生态系统的介绍也充满了期待，了解Hadoop与其他大数据工具（如Hive、Spark、HBase等）的集成和应用，将有助于我构建一个更完整的大数据处理平台。
对于《Hadoop集群与安全》这本书，我最大的期待在于它能否深入浅出地讲解Hadoop集群的各个核心组件。比如，HDFS是如何管理分布式文件系统的，它的NameNode和DataNode之间是如何通信和协作的；MapReduce框架的运行原理是什么，如何设计高效的MapReduce作业；YARN是如何负责集群资源管理的，它与MapReduce之间的关系又是如何？我希望能通过这本书，对这些基础概念有一个透彻的理解。同时，我也非常看重书中关于集群的配置和优化部分。一个高性能的Hadoop集群离不开精细的配置，例如内存、CPU、磁盘I/O的合理分配，以及网络参数的优化。我希望能从书中学习到如何根据实际业务需求来调整这些参数，以达到最佳的性能。此外，书中关于Hadoop集群的监控和故障排除方法也对我至关重要。当集群出现问题时，如何快速地定位是哪个组件出了问题，如何分析日志信息，以及有哪些常用的工具可以帮助我们进行故障排查，这些都是非常实用的技能。我希望这本书能够提供一些具体的案例分析，通过实际的故障场景来演示如何解决问题，这样我能学得更快，用得更熟练。
这本书的封面设计给我一种厚实、专业的感觉，正是我在寻找的关于Hadoop集群的深度解析。我一直以来对Hadoop的理解都停留在比较表层的概念上，特别是集群的部署和管理，总是觉得有些力不从心。我希望这本书能够从最基础的概念讲起，比如Hadoop的分布式架构，HDFS的原理，MapReduce的执行流程，以及YARN的角色定位。我特别期待它能提供详细的集群搭建步骤，包括各个组件的安装、配置以及它们之间的协调工作。更重要的是，我希望书中能涵盖集群的扩展和维护方面的内容，比如如何在线扩容，如何进行版本升级，以及在集群出现故障时如何进行诊断和修复。我对于书中能够提供一些集群的性能调优建议也充满了期待，毕竟一个高效的Hadoop集群是处理大数据的前提。我需要了解如何根据实际业务需求来调整配置参数，以获得最佳的性能表现。同时，我也希望这本书能给我一些关于Hadoop生态系统中其他组件（如Hive、Spark、HBase等）与Hadoop集群集成使用的指导，帮助我构建一个更完整的大数据处理平台。
拿到《Hadoop集群与安全》这本书，我最关注的就是它在安全方面的深度和广度。在当今数据爆炸的时代，数据安全的重要性不言而喻。我希望这本书能够全面地介绍Hadoop集群的安全防护体系，包括身份认证、访问控制、数据加密以及审计等各个方面。我特别期待它能详细讲解如何配置和使用Kerberos来保护Hadoop集群，理解其工作原理，并掌握在实际部署中可能遇到的各种配置细节和注意事项。同时，对于HDFS的权限管理，我希望书中能提供清晰的指导，如何设置文件和目录的读写权限，如何利用ACLs（Access Control Lists）来实现更精细化的访问控制，确保只有授权的用户和应用程序才能访问敏感数据。此外，数据加密也是我非常关心的一点，我希望书中能介绍HDFS透明加密、TLS/SSL加密等技术，以及如何在保证性能的前提下实现数据的端到端加密。我还需要了解如何对Hadoop集群进行安全审计，追踪用户的操作行为，及时发现潜在的安全威胁。这本书的出现，能让我对Hadoop的安全有一个系统性的认知，并为我构建一个更加安全可靠的大数据平台提供坚实的基础。
这本书的标题“Hadoop集群与安全”让我对它抱有极大的期望，尤其是在安全部分。我一直觉得Hadoop的生态系统虽然强大，但在安全方面往往需要额外的关注和配置。我非常希望这本书能够深入讲解Hadoop在安全方面的最佳实践。例如，如何对Hadoop集群中的各个组件进行安全加固，防止未经授权的访问和数据泄露。我特别希望能看到书中详细介绍如何实现Hadoop的安全认证，包括集群内部的身份验证和与其他外部系统的集成认证。同时，在访问控制方面，我希望它能提供关于Hadoop RBAC（Role-Based Access Control）或ABAC（Attribute-Based Access Control）的实现方法，以及如何通过Hive Metastore、HDFS ACLs等机制来细化数据访问权限。更重要的是，我希望书中能探讨数据加密的策略，包括HDFS数据的静态加密和传输过程中的动态加密，以及如何管理密钥。此外，对于安全审计，我也希望能够获得一些指导，了解如何记录和分析Hadoop集群中的安全事件，从而及时发现和应对潜在的安全风险。总而言之，我希望这本书能成为我理解和构建安全Hadoop集群的终极指南。
我一直对Hadoop集群的管理和运维方面很感兴趣，而《Hadoop集群与安全》这本书似乎正好满足了我的需求。我希望它能提供一个系统性的指南，教我如何从零开始搭建一个稳定可靠的Hadoop集群。这不仅仅包括软件的安装和配置，更重要的是对硬件资源的合理规划和部署。比如，在选择节点数量、CPU、内存、存储容量时，有哪些需要考虑的因素？在网络拓扑结构的设计上，又有哪些最佳实践？我尤其关注书中关于Hadoop集群的容错机制和高可用性方面的讲解。在一个分布式系统中，节点宕机或网络故障是不可避免的，我希望能学习到Hadoop是如何通过冗余机制来保证数据的安全和服务的可用性的，例如HDFS的副本机制以及Secondary NameNode的作用。另外，对于集群的日常运维，比如性能监控、日志管理、版本升级等，书中是否提供了详细的操作步骤和注意事项？我希望它能够像一本运维手册一样，在我遇到实际问题时，能够迅速找到解决方案。而且，我期望书中能包含一些关于Hadoop集群的故障排查案例，通过实际的场景来学习如何诊断和修复问题，这样可以大大提高我的实操能力。
翻译太烂
翻译太烂
两本书的合集，部署那本是Hadoop1的，安全那本涉及2，看看了解个大概，用的时候直接看具体官方手册了
两本书的合集，部署那本是Hadoop1的，安全那本涉及2，看看了解个大概，用的时候直接看具体官方手册了
依赖于linux系统的用户管理与权限管理，hadoop的安全挑战非同一般。kerberos的集成可以解决身份认证权限管理的大部分问题，不过如果缺少统一配置管理的支撑，繁重的工作量和配置管理的复杂性会引入不少新的安全麻烦，rhino等项目的发展带来一丝曙光，在数据安全、审计方面颇有建树。不过生产系统整体安全还是任重道远。
