怎么部署Hadoop集群

本篇内容主要讲解“怎么部署Hadoop集群”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“怎么部署Hadoop集群”吧!环境准备一共用5台机器作为硬件环境，全都是centos 6.4namenode & resourcemanager 主服务器: 192.168.1.1namenode & resourcemanager 备服务器: 192.168.1.2datanode & nodemanager 服务器: 192.168.1.100 192.168.1.101 192.168.1.102zookeeper 服务器集群(用于namenode 高可用的自动切换): 192.168.1.100 192.168.1.101jobhistory 服务器(用于记录免费云主机、域名mapreduce的日志): 192.168.1.1用于namenode HA的NFS: 192.168.1.100环境部署一、加入CDH4的YUM仓库1.***的办法是把cdh5的包放到自建的yum仓库中,如何自建yum仓库请看 自建YUM仓库2.如果不想自建yum仓库，在所有的hadoop机器执行以下操作加入cdn4的yum仓库二、创建用于namenode HA的NFS服务器1.登录192.168.1.100,执行以下脚本createNFS.sh1.登录192.168.1.1，创建脚本目录，把脚本从git仓库复制下来2.修改hostname3.修改部署脚本的配置文件4.编辑hosts文件(此文件会同步到hadoop集群所有机器)5.执行部署脚本CreateNamenode.sh6.搭建saltstack masterPS:类似于puppet的服务器管理开源工具，比较轻量，在这里用于管理hadoop集群，调度datanode，关于saltstack的详细请看 SaltStack部署与使用a.安装b.修改配置文件`/etc/salt/master`,下面标志的是需要修改的项c.开启服务7.部署过程中已经把我的sample配置复制过去了，所以只需要修改部分配置文件a. /etc/hadoop/conf/hdfs-site.xml (其实就是按实际修改主机名地址)b. mapred-site.xmlc. yarn-site.xml三、Hadoop Namenode & resourcemanager 备服务器 环境部署1.登录192.168.1.2，创建脚本目录，从主服务器把脚本同步过来2.执行部署脚本CreateNamenode.sh3.同步hadoop配置文件4.部署saltstack客户端四、zookeeper服务器集群部署zookeeper是一个开源分布式服务，在这里用于namenode 的auto fail over功能。1.安装2.修改配置文件/etc/zookeeper/conf/zoo.cfg3.指定当前机器的id,并开启服务五、datanode & nodemanager 服务器部署1.登录datanode机器,创建脚本目录，从主服务器把脚本同步过来2.修改hostname，执行部署脚本 CreateDatanode.sh集群初始化到这里，hadoop集群的环境已部署完毕，现在开始初始化集群一、namenode的HA高可用初始化1.在namenode主服务器(192.168.1.1)执行zookeeper的failover功能格式化2.把zookeeper集群服务启动(192.168.1.100 192.168.1.101 )3.把namenode主备服务器的zkfc服务起来(192.168.1.1 192.168.1.2)4.在namenode主服务器(192.168.1.1)格式化hdfs5.***次搭建namenode高可用，需要把name.dir下面的数据复制到namenode备服务器（此坑花了好多时间）a.在主服务器(192.168.1.1)执行b.在备服务器(192.168.1.2)执行6.主从服务都启动7.查看hdfs的web界面8.现在可以尝试关闭namenode主服务，看是否能主从切换二、hdfs集群开启到这里，所有hadoop部署已完成，现在开始把集群启动，验证效果1.把所有datanode服务器启动2.查看hdfs web界面,看是否都成为live nodes3.如果没有问题，现在可以尝试hdfs操作三、yarn集群开启hadoop除了hdfs用于大数据的分布式存储，还有更重要的组件，分布式计算(mapreduce)。现在我们来把mapreducev2 yarn集群启动1.在主服务器把resourcemanager服务起来（192.168.1.1）2.把所有nodemanager服务启动3.查看yarn 任务追踪界面(http://192.168.1.1:9081/),看是否所有nodes都已加入4.hadoop自带有基准测试的mapreduce实例，我们利用它来测试yarn环境是否正常到此，相信大家对“怎么部署Hadoop集群”有了更深的了解，不妨来实际操作一番吧！这里是云技术网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！

相关推荐: 如何使用Div和CSS编写中的包含选择器和通配选择器

这篇文章将为大家详细讲解有关如何使用Div和CSS编写中的包含选择器和通配选择器，文章内容质量较高，因此小编分享给大家做个参考，希望大家阅读完这篇文章后对相关知识有一定的了解。包含选择器包含选择器也叫派生选择器，顾名思义，是一种具有包含关系的选择。多个选择器以…