北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > Hadoop > 注释

                三个节点的Hadoop平台装置搭建教程

                2016-08-24 11:47泉源:中国存储网
                导读:明天的教程引见的是3个节点的Hadoop平台建立。本次装置计划运用三个节点,每个节点都运用centos零碎。

                之前引见过在Ubuntu 12.04单机版情况中搭建hadoop细致教程,明天的教程引见的是3个节点的Hadoop平台建立。

                1.   Hadoop节点计划

                本次装置计划运用三个节点,每个节点都运用centos零碎。

                三个节点的hostname辨别计划为:centoshadoop1、centoshadoop2、centoshadoop3(此处为本教程参数,可依据实践情况状况修正)

                三个节点的ip地点辨别计划为:192.168.65.57、192.168.65.58、192.168.65.59(此处为本教程参数,依据实践情况状况修正)

                2.   平台搭建运用的软件

                下载如下软件

                操纵零碎装置包:Centos6.3_x64

                Jdk装置包:jdk-6u37-linux-x64.bin

                Hadoop装置包:hadoop-1.1.2.tar.gz

                3.   装置centos操纵零碎(可见centos频道)

                装置三个节点的操纵零碎,装置进程省略。

                4.   设置装备摆设centoshadoop1节点

                4.1.  修正节点hostname

                [root@localhost ~]# vi /etc/sysconfig/network 

                HOSTNAME=centoshadoop1

                [root@localhost ~]# vi /etc/hosts

                ……

                192.168.65.57 centoshadoop1

                192.168.65.58centoshadoop2

                192.168.65.59centoshadoop3

                [root@localhost ~]#reboot

                4.2.  封闭iptables防火墙

                [root@centoshadoop1~]#service iptables stop

                留意每次操纵零碎重启后都要操纵

                4.3.  树立无ssh暗码登岸

                天生署名文件

                [root@centoshadoop1~]#cd /root

                [root@centoshadoop1~]#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

                [root@centoshadoop1~]#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

                [root@centoshadoop1~]#

                测试当地SSH无暗码登录

                [root@centoshadoop1~]#sshcentoshadoop1

                4.4.  装置jdk

                上传jdk-6u37-linux-x64.bin到/root目次下

                [root@centoshadoop1~]#chmod 777 jdk-6u37-linux-x64.bin

                [root@centoshadoop1~]#./jdk-6u37-linux-x64.bin

                [root@centoshadoop1~]#ll

                检查天生jdk-6u37-linux-x64目次

                4.5.  装置hadoop软件

                上传hadoop-1.1.2.tar.gz到/root目次下

                [root@centoshadoop1~]#tar -zvxf hadoop-1.1.2.tar.gz

                [root@centoshadoop1~]#ll

                检查天生hadoop-1.1.2目次

                [root@centoshadoop1~]#vi /conf/core-site.xml

                <?xml version="1.0"?>

                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

                <!-- Put site-specific property overrides in this file. -->

                <configuration>

                <property>

                <name>fs.default.name</name>

                <value>hdfs://192.168.65.57:9000</value>

                </property>

                <property>

                <name>hadoop.tmp.dir</name>

                <value>/root/hadoop-1.1.2/tmp</value>

                </property>

                </configuration>

                [root@centoshadoop1~]#vi hdfs-site.xml

                <?xml version="1.0"?>

                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

                <!-- Put site-specific property overrides in this file. -->

                <configuration>

                <property>

                <name>dfs.replication</name>

                <value>1</value>

                </property>

                </configuration>

                [root@centoshadoop1~]#vi mapred-site.xml

                <?xml version="1.0"?>

                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

                <!-- Put site-specific property overrides in this file. -->

                <configuration>

                <property>

                <name>mapred.job.tracker</name>

                <value>192.168.65.57:9001</value>

                </property>

                </configuration>

                4.6.  设置装备摆设hadoop数据节点

                [root@centoshadoop1~]#vi /root/hadoop-1.1.2/conf/masters

                192.168.65.57 #secondaryNameNode

                [root@centoshadoop1~]#vi /root/hadoop-1.1.2/conf/slaves

                192.168.65.58  #datanode

                192.168.65.59  #datanode

                4.7.  添加情况变量

                [root@centoshadoop1~]#cd /root

                [root@centoshadoop1~]#vi /etc/profile

                export JAVA_HOME=/root/jdk1.6.0_37

                export JRE_HOME=/root/jdk1.6.0_37/jre

                export HADOOP_HOME=/root/hadoop-1.1.2

                export HADOOP_HOME_WARN_SUPPRESS=1

                export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH

                export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

                [root@centoshadoop1~]#vi ~/.bashrc

                export JAVA_HOME=/root/jdk1.6.0_37

                export JRE_HOME=/root/jdk1.6.0_37/jre

                export HADOOP_HOME=/root/hadoop-1.1.2

                export HADOOP_DEV_HOME=/root/hadoop-1.1.2

                export HADOOP_COMMON_HOME=/root/hadoop-1.1.2

                export HADOOP_HDFS_HOME=/root/hadoop-1.1.2

                export HADOOP_CONF_DIR=/root/hadoop-1.1.2/conf

                [root@centoshadoop1~]#vi /root/hadoop-1.1.2/conf/hadoop-env.sh

                export JAVA_HOME=/root/jdk1.6.0_37

                export HADOOP_HOME_WARN_SUPPRESS=1

                export HADOOP_CLASSPATH=/root/hadoop-1.1.2:/root/hadoop-1.1.2/lib

                5.   设置装备摆设centoshadoop2节点

                5.1.  修正节点hostname

                [root@localhost ~]# vi /etc/sysconfig/network 

                HOSTNAME=centoshadoop2

                [root@localhost ~]# vi /etc/hosts

                ……

                192.168.65.57 centoshadoop1

                192.168.65.58 centoshadoop2

                192.168.65.59 centoshadoop3

                [root@localhost ~]#reboot

                5.2.  封闭iptables防火墙

                [root@centoshadoop1~]#service iptables stop

                留意每次操纵零碎重启后都要操纵

                5.3.  树立无ssh暗码登岸

                将centoshadoop1节点上/root/.ssh目次下的authorized_keys、known_hosts 、id_rsa.pub、id_rsa四个文件拷贝到本机的/root/.ssh目次下

                5.4.  装置jdk

                上传jdk-6u37-linux-x64.bin到/root目次下

                [root@centoshadoop1~]#chmod 777 jdk-6u37-linux-x64.bin

                [root@centoshadoop1~]#./jdk-6u37-linux-x64.bin

                [root@centoshadoop1~]#ll

                检查天生jdk-6u37-linux-x64目次

                5.5.  装置hadoop软件

                上传hadoop-1.1.2.tar.gz到/root目次下

                [root@centoshadoop1~]#tar -zvxf hadoop-1.1.2.tar.gz

                [root@centoshadoop1~]#ll

                检查天生hadoop-1.1.2目次

                [root@centoshadoop1~]#vi /conf/core-site.xml

                <?xml version="1.0"?>

                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

                <!-- Put site-specific property overrides in this file. -->

                <configuration>

                <property>

                <name>fs.default.name</name>

                <value>hdfs://192.168.65.57:9000</value>

                </property>

                <property>

                <name>hadoop.tmp.dir</name>

                <value>/root/hadoop-1.1.2/tmp</value>

                </property>

                </configuration>

                [root@centoshadoop1~]#vi hdfs-site.xml

                <?xml version="1.0"?>

                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

                <!-- Put site-specific property overrides in this file. -->

                <configuration>

                <property>

                <name>dfs.replication</name>

                <value>1</value>

                </property>

                </configuration>

                [root@centoshadoop1~]#vi mapred-site.xml

                <?xml version="1.0"?>

                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

                <!-- Put site-specific property overrides in this file. -->

                <configuration>

                <property>

                <name>mapred.job.tracker</name>

                <value>192.168.65.57:9001</value>

                </property>

                </configuration>

                5.6.  添加情况变量

                [root@centoshadoop1~]#cd /root

                [root@centoshadoop1~]#vi /etc/profile

                export JAVA_HOME=/root/jdk1.6.0_37

                export JRE_HOME=/root/jdk1.6.0_37/jre

                export HADOOP_HOME=/root/hadoop-1.1.2

                export HADOOP_HOME_WARN_SUPPRESS=1

                export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$HADOOP_HOME/lib:$CLASSPATH

                export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

                [root@centoshadoop1~]#vi ~/.bashrc

                export JAVA_HOME=/root/jdk1.6.0_37

                export JRE_HOME=/root/jdk1.6.0_37/jre

                export HADOOP_HOME=/root/hadoop-1.1.2

                export HADOOP_DEV_HOME=/root/hadoop-1.1.2

                export HADOOP_COMMON_HOME=/root/hadoop-1.1.2

                export HADOOP_HDFS_HOME=/root/hadoop-1.1.2

                export HADOOP_CONF_DIR=/root/hadoop-1.1.2/conf

                [root@centoshadoop1~]#vi /root/hadoop-1.1.2/conf/hadoop-env.sh

                export JAVA_HOME=/root/jdk1.6.0_37

                export HADOOP_HOME_WARN_SUPPRESS=1

                export HADOOP_CLASSPATH=/root/hadoop-1.1.2:/root/hadoop-1.1.2/lib

                6.   设置装备摆设centoshadoop3节点

                6.1.  修正节点hostname

                [root@localhost ~]# vi /etc/sysconfig/network 

                HOSTNAME=centoshadoop3

                [root@localhost ~]# vi /etc/hosts

                ……

                192.168.65.57 centoshadoop1

                192.168.65.58 centoshadoop2

                192.168.65.59 centoshadoop3

                [root@localhost ~]#reboot

                封闭iptables防火墙、树立无ssh暗码登岸、装置jdk、装置hadoop软件、添加情况变量等操纵跟“设置装备摆设centoshadoop2节点”完全相反

                7.   启动运转hadoop平台

                7.1.  起首实行款式化

                [root@centoshadoop1~]#hadoop namenode –format

                留意:core-site.xml、hdfs-site.xml、mapred-site.xml等设置装备摆设文件变革后都需求实行款式化

                7.2.  启动hadoop

                [root@centoshadoop1~]#start-all.sh

                7.3.  中止hadoop

                [root@centoshadoop1~]#stop-all.sh

                7.4.  检查hadoop运转形态

                检查hadoop启动的历程

                [root@centoshadoop1~]#jps

                检查hadoop集群形态

                [root@centoshadoop1~]#hadoop dfsadmin  -report

                检查hadoop中的目次状况

                [root@centoshadoop1~]#hadoop fs –ls /

                持续阅读
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台