从零开始搭建Hadoop2.7.1的分布式集群
in Linux with 0 comment

从零开始搭建Hadoop2.7.1的分布式集群

in Linux with 0 comment
Hadoop2.7.1,Hadoop的环境配置不是特别的复杂,但是确实有很多细节需要注意,不然会造成许多配置错误的情况。尽量保证一次配置正确防止反复修改。

操作环境说明

操作系统

虚拟机版本:VMware12


ssh-keygen -t rsa -C "mmmwhy@qq.com"

材料准备

注意:
ubuntu14.04有自带的java,版本是1.7,输入java -version即可查看
mark
如果没有安装java的话,网上找个安装java的文章即可,比如这篇

搭建开始

搭建开始

Vmware 创建虚拟机


根据Hadoop的调度规则,我们将使用VMware 12 加载 ubuntu….iso来创建三个Ubuntu 虚拟机。创建用典型安装即可。安装位置请选一个足够大的硬盘,预估需要50g。记住这个位置

这时我们先创建一个Ubuntu虚拟机,为什么这样稍后解释。

SSH 安装以及配置

先配置ubuntu镜像源

打开软件源文件

sudo gedit /etc/apt/sources.list

将以下内容替换到源文件(注意在清华大学网站上选择合适自己系统的版本)

# 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-updates main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-updates main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-backports main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-backports main restricted universe multiverse
deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-security main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-security main restricted universe multiverse

# 预发布软件源,不建议启用
# deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-proposed main restricted universe multiverse
# deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu/ trusty-proposed main restricted universe multiverse

更新软件源

sudo apt-get update

安装ssh

sudo apt-get install openssh-server

已有ssh或者安装成功了的输入命令

ps -e | grep ssh

验证SSH是否成功安装输入

ssh localhost

出现以下提示说明安装成功

注意,这个时候不是特权模式,特权模式反而会报错,因为我们设置的账户名其实不是root

生成密钥Pair

ssh-keygen -t rsa

输入后一直回车选择默认即可

mater主机中输入命令复制一份公钥到home中

cp .ssh/id_rsa.pub ~/id_rsa_master.pub

复制出两个虚拟机

到开始我们放置虚拟机的位置,复制两份放在旁边,然后用vm直接打开那两个文件夹。
这样可以生成三个一毛一样的虚拟机。

顺便给他们把名字改成各自的角色。
这样做的好处是不需要将之前的步骤重复进行多次,不容易出错。

配置 Hadoop (以下配置将仅仅在master主机上进行 )

mkdir hadoop-2.7.1/tmp
mkdir hadoop-2.7.1/hdfs
mkdir hadoop-2.7.1/hdfs/name
mkdir hadoop-2.7.1/hdfs/data
ifconfig -a


eg. 我所使用的IP地址

192.168.232.36 master
192.168.232.54 slave1
192.168.232.79 slave2
sudo gedit /etc/hosts


三个ip地址和对应的角色写在hosts内

sudo gedit /etc/hostname

master 的改为 master
slave1 的改为 slave1
slave2 的改为 slave2

修改环境变量

cd ~/hadoop-2.7.1/

hadoop-env.sh

gedit etc/hadoop/hadoop-env.sh

找到JAVA_HOME=… 一行修改为Java HOME的路径

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64

core-site.xml

gedit etc/hadoop/core-site.xml

在configuration标签中添加

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/mmmwhy/hadoop-2.7.1/tmp</value>
    </property>

mapred-site.xml

创建并编辑

cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
gedit etc/hadoop/mapred-site.xml

在configuration标签中添加

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/mmmwhy/hadoop-2.7.1/tmp</value>
    </property>

hdfs-site.xml

gedit etc/hadoop/hdfs-site.xml

在configuration标签中添加

    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/mmmwhy/hadoop-2.7.1/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/mmmwhy/hadoop-2.7.1/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
    </property>

yarn-site.xml

gedit etc/hadoop/yarn-site.xml

在configuration标签中添加

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>

slaves文件

gedit etc/hadoop/slaves

删除原有内容,根据配置修改,此处为

slave1
slave2

前提是设置好ssh

scp -r hadoop-2.7.1 mmmwhy@slave1:~/ 
scp -r hadoop-2.7.1 mmmwhy@slave2:~/ 

应该出现一大堆看起来非常厉害的东西。

进入hadoop home目录

bin/hdfs namenode -format
sbin/start-all.sh

启动后分别在master, slave下输入jps查看进程

如上则说明启动成功

集群测试

echo hellecho hello world >> in1.txt hadoop >> in2.txt
cd ~/mmmwhy/hadoop-2.7.1/
bin/hadoop fs -mkdir /usr
bin/hadoop fs -mkdir /usr/input
bin/hadoop fs -put in1.txt /usr/input
bin/hadoop fs -put in2.txt /usr/input
#执行Hadoop内置example测试程序
bin/hadoop jar ~/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /usr/input /usr/output

然后进入 http://localhost:50070/explorer.html#/usr/input
就可以看到

运行wordcount测试

进入hadoop home目录
在hdfs(分布式文件系统)中创建一个名为input的文件夹

bin/hadoop fs -mkdir /input

查看文件是否被创建

bin/hadoop fs -ls /

hadoop home 下创建一个inputfile 文件夹,并在inputfile里创建两个文件
in1.txt

Hello world hello hadoop

in2.txt

Hello Hadoop hello whatever

上传两个文件进input

bin/hadoop fs -put inputfile/*.txt /input

查看输入文件是否传入

bin/hadoop fs -ls /input


用hadoop jar命令运行Hadoop自带的wordcount

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output


程序开始运行,成功后查看输出文件夹

bin/hadoop fs -ls /output
bin/hadoop fs -cat /output/part-r-00000

至此hadoop分布式集群配置完成!本文主体内容转自CSDN,原作者写的非常好,但是有一些小问题,做到一半的时候花式报错,因此自己写了一份,修正了其中一些问题。

Responses

From now on, bravely dream and run toward that dream.
陕ICP备17001447号