北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > Hadoop > 注释

                Linux下Hadoop2.6.0集群情况的搭建

                2016-09-13 13:34泉源:中国存储网
                导读:本文旨在提供最根本的,可以用于在消费情况停止Hadoop、HDFS散布式情况的搭建,对本人是个总结和整理,也能方便新人学习运用。

                本文旨在提供最根本的,可以用于在消费情况停止Hadoop、HDFS散布式情况的搭建,对本人是个总结和整理,也能方便新人学习运用。

                根底情况

                JDK的装置与设置装备摆设

                如今间接到Oracle官网(http://www.oracle.com/)寻觅JDK7的装置包不太容易,由于如今官方引荐JDK8。找了半天赋找到JDK下载列表页的地点(http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html)。由于选择Linux操纵零碎作为摆设情况,以是选择64位的版本。我选择的是jdk-7u79-linux-x64.gz。

                运用以下下令将jdk-7u79-linux-x64.gz下载到Linux下的/home/jiaan.gja/software目次

                1. wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz  

                然后运用以下下令将jdk-7u79-linux-x64.gz解紧缩到/home/jiaan.gja/install目次

                1. tar zxvf jdk-7u79-linux-x64.gz -C ../install  

                回到/home/jiaan.gja目次,设置装备摆设java情况变量,下令如下:

                1. cd ~  
                2. vim .bash_profile  

                在.bash_profile中参加以下内容:

                Linux下Hadoop2.6.0集群情况的搭建

                立即让java情况变量失效,实行如下下令:

                1. source .bash_profile  

                最初验证java能否装置设置装备摆设准确:

                Linux下Hadoop2.6.0集群情况的搭建
                 

                Host

                由于我搭建Hadoop集群包括三台呆板,以是需求修正调解各台呆板的hosts文件设置装备摆设,下令如下:

                1. vi /etc/hosts  

                假如没有充足的权限,可以切换用户为root。

                假如制止运用root权限,则可以运用以下下令修正:

                1. sudo vi /etc/hosts  

                三台呆板的内容一致添加以下host设置装备摆设:


                Linux下Hadoop2.6.0集群情况的搭建

                SSH

                由于NameNode与DataNode之间通讯,运用了SSH,以是需求设置装备摆设免登录。

                起首登录Master呆板,天生SSH的公钥,下令如下:

                1. ssh-keygen -t rsa  

                实行下令后会在以后用户目次下天生.ssh目次,然落伍入此目次将id_rsa.pub追加到authorized_keys文件中,下令如下:

                1. cd .ssh  
                2. cat id_rsa.pub >> authorized_keys  

                最初将authorized_keys文件复制到别的呆板节点,下令如下:

                1. scp authorized_keys jiaan.gja@Slave1:/home/jiaan.gja/.ssh  
                2. scp authorized_keys jiaan.gja@Slave2:/home/jiaan.gja/.ssh  

                文件目次

                为了便于办理,给Master的hdfs的NameNode、DataNode及暂时文件,在用户目次下创立目次:

                /home/jiaan.gja/hdfs/name

                /home/jiaan.gja/hdfs/data

                /home/jiaan.gja/hdfs/tmp

                然后将这些目次经过scp下令拷贝到Slave1和Slave2的相反目次下。

                Hadoop的装置与设置装备摆设

                下载

                起首到Apache官网(http://www.apache.org/dyn/closer.cgi/hadoop/common/)下载Hadoop,从中选择引荐的下载镜像(http://mirrors.hust.edu.cn/apache/hadoop/common/),我选择hadoop-2.6.0的版本,并运用以下下令下载到Master呆板的

                /home/jiaan.gja/software目次:

                1. cd ~/software/  
                2. wget http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz  

                然后运用以下下令将hadoop-2.6.0.tar.gz解紧缩到/home/jiaan.gja/install目次

                1. tar zxvf hadoop-2.6.0.tar.gz -C ../install/  

                情况变量

                回到/home/jiaan.gja目次,设置装备摆设hadoop情况变量,下令如下:

                1. cd ~  
                2. vim .bash_profile  

                在.bash_profile中参加以下内容:

                Linux下Hadoop2.6.0集群情况的搭建

                立即让hadoop情况变量失效,实行如下下令:

                1. source .bash_profile  

                Hadoop的设置装备摆设

                进入hadoop-2.6.0的设置装备摆设目次:

                1. cd ~/install/hadoop-2.6.0/etc/hadoop/  

                顺次修正core-site.xml、hdfs-site.xml、mapred-site.xml及yarn-site.xml文件。

                core-site.xml

                1. <configuration>  
                2. <property>  
                3.   <name>hadoop.tmp.dir</name>  
                4.   <value>file:/home/jiaan.gja/hdfs/tmp</value>  
                5.   <description>A base for other temporary directories.</description>  
                6. </property>  
                7. <property>  
                8.   <name>io.file.buffer.size</name>  
                9.   <value>131072</value>  
                10. </property>  
                11. <property>  
                12.   <name>fs.default.name</name>  
                13.   <value>hdfs://Master:9000</value>  
                14. </property>  
                15. <property>  
                16. <name>hadoop.proxyuser.root.hosts</name>  
                17. <value>*</value>  
                18. </property>  
                19. <property>  
                20. <name>hadoop.proxyuser.root.groups</name>  
                21. <value>*</value>  
                22. </property>  
                23. </configuration>  

                hdfs-site.xml

                1. <configuration>  
                2. <property>  
                3.   <name>dfs.replication</name>  
                4.   <value>2</value>  
                5. </property>  
                6. <property>  
                7.   <name>dfs.namenode.name.dir</name>  
                8.   <value>file:/home/jiaan.gja/hdfs/name</value>  
                9.   <final>true</final>  
                10. </property>  
                11. <property>  
                12.   <name>dfs.datanode.data.dir</name>  
                13.   <value>file:/home/jiaan.gja/hdfs/data</value>  
                14.   <final>true</final>  
                15. </property>  
                16. <property>  
                17.   <name>dfs.namenode.secondary.http-address</name>  
                18.   <value>Master:9001</value>  
                19. </property>  
                20. <property>  
                21.   <name>dfs.webhdfs.enabled</name>  
                22.   <value>true</value>  
                23. </property>  
                24. <property>  
                25.   <name>dfs.permissions</name>  
                26.   <value>false</value>  
                27. </property>  
                28. </configuration>  

                mapred-site.xml

                1. <configuration>  
                2. <property>  
                3.   <name>mapreduce.framework.name</name>  
                4.   <value>yarn</value>  
                5. </property>  
                6. </configuration>  

                yarn-site.xml

                <configuration>  

                1.   
                2. <!-- Site specific YARN configuration properties -->  
                3. <property>  
                4.   <name>yarn.resourcemanager.address</name>  
                5.   <value>Master:18040</value>  
                6. </property>  
                7. <property>  
                8.   <name>yarn.resourcemanager.scheduler.address</name>  
                9.   <value>Master:18030</value>  
                10. </property>  
                11. <property>  
                12.   <name>yarn.resourcemanager.webapp.address</name>  
                13.   <value>Master:18088</value>  
                14. </property>  
                15. <property>  
                16.   <name>yarn.resourcemanager.resource-tracker.address</name>  
                17.   <value>Master:18025</value>  
                18. </property>  
                19. <property>  
                20.   <name>yarn.resourcemanager.admin.address</name>  
                21.   <value>Master:18141</value>  
                22. </property>  
                23. <property>  
                24.   <name>yarn.nodemanager.aux-services</name>  
                25.   <value>mapreduce.shuffle</value>  
                26. </property>  
                27. <property>  
                28.   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
                29.   <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
                30. </property>  
                31. </configuration>  

                由于我们曾经设置装备摆设了JAVA_HOME的情况变量,以是hadoop-env.sh与yarn-env.sh这两个文件不必修正,由于外面的设置装备摆设是:

                1. export JAVA_HOME=${JAVA_HOME}  

                最初,将整个hadoop-2.6.0文件夹及其子文件夹运用scp复制到两台Slave的相反目次中:

                1. scp -r hadoop-2.6.0 jiaan.gja@Slave1:/home/jiaan.gja/install/  
                1. scp -r hadoop-2.6.0 jiaan.gja@Slave2:/home/jiaan.gja/install/  
                 

                运转Hadoop

                运转HDFS

                款式化NameNode

                实行下令:

                1. hadoop namenode -format  

                实行进程如下图:

                Linux下Hadoop2.6.0集群情况的搭建

                最初的实行后果如下图:

                Linux下Hadoop2.6.0集群情况的搭建

                启动NameNode

                实行下令如下:

                1. hadoop-daemon.sh start namenode  

                实行后果如下图:

                Linux下Hadoop2.6.0集群情况的搭建

                最初在Master上实行ps -ef | grep hadoop,失掉如下后果:

                Linux下Hadoop2.6.0集群情况的搭建

                在Master上实行jps下令,失掉如下后果:

                Linux下Hadoop2.6.0集群情况的搭建

                阐明NameNode启动乐成。

                启动DataNode

                实行下令如下:

                1. hadoop-daemons.sh start datanode  

                实行后果如下:

                Linux下Hadoop2.6.0集群情况的搭建

                在Slave1上实行下令,如下图:

                Linux下Hadoop2.6.0集群情况的搭建

                在Slave2上实行下令,如下图:

                Linux下Hadoop2.6.0集群情况的搭建

                阐明Slave1和Slave2上的DataNode运转正常。

                以上启动NameNode和DataNode的方法,可以用start-dfs.sh剧本替换:

                Linux下Hadoop2.6.0集群情况的搭建

                运转YARN

                运转Yarn也有与运转HDFS相似的方法。启动ResourceManager运用以下下令:

                1. yarn-daemon.sh start resourcemanager  

                批量启动多个NodeManager运用以下下令:

                1. yarn-daemons.sh start nodemanager  

                以上方法我们就不赘述了,来看看运用start-yarn.sh的简便的启动方法:

                Linux下Hadoop2.6.0集群情况的搭建

                在Master上实行jps:

                Linux下Hadoop2.6.0集群情况的搭建

                阐明ResourceManager运转正常。

                在两台Slave上实行jps,也会看到NodeManager运转正常,如下图:

                Linux下Hadoop2.6.0集群情况的搭建

                测试Hadoop

                测试HDFS

                最初测试下亲手搭建的Hadoop集群能否实行正常,测试的下令如下图所示:

                Linux下Hadoop2.6.0集群情况的搭建

                测试YARN

                可以拜访YARN的办理界面,验证YARN,如下图所示:

                Linux下Hadoop2.6.0集群情况的搭建

                测试mapreduce

                自己比拟懒,不想编写mapreduce代码。幸亏Hadoop装置包里提供了现成的例子,在Hadoop的share/hadoop/mapreduce目次下。运转例子:

                Linux下Hadoop2.6.0集群情况的搭建

                Linux下Hadoop2.6.0集群情况的搭建

                设置装备摆设运转Hadoop中遇见的题目

                JAVA_HOME未设置?

                我在启动Hadoop时发明Slave2呆板不断启动不了,然后登录Slave2,在~/install/hadoop-2.6.0/logs目次下检查日记,发明了以下错误:

                1. Error: JAVA_HOME is not set and could not be found.  

                假如我实行echo $JAVA_HOME或许检查.bash_profile文件,都证明准确设置装备摆设了JAVA_HOME的情况变量。无法之下,只能将Slave2呆板的hadoop-env.sh硬编码为如下的设置装备摆设:

                1. # The java implementation to use.  
                2. export JAVA_HOME=/home/jiaan.gja/install/jdk1.7.0_79  

                然后题目就处理了。固然处理了,但是现在不晓得以是然,有好意的同仁,通知我下。。。

                Incompatible clusterIDs

                由于设置装备摆设Hadoop集群不是一挥而就的,以是每每随同着设置装备摆设——>运转——>。。。——>设置装备摆设——>运转的进程,以是DataNode启动不了时,每每会在检查日记后,发明以下题目:

                Linux下Hadoop2.6.0集群情况的搭建

                此题目是由于每次启动Hadoop集群时,会有差别的集群ID,以是需求清算启动失败节点上data目次(比方我创立的/home/jiaan.gja/hdfs/data)中的数据。

                NativeCodeLoader的正告

                在测试Hadoop时,仔细的人能够看到截图中的正告信息:

                Linux下Hadoop2.6.0集群情况的搭建

                我也是查阅网络材料,得知以下处理方法:

                1、下载hadoop-native-64-2.6.0.tar:
                在网站http://dl.bintray.com/sequenceiq/sequenceiq-bin/可以找到下载的相应版本,由于我是2.6.0的Hadoop,以是选择下载

                2、中止Hadoop,实行下令如下:

                Linux下Hadoop2.6.0集群情况的搭建
                下载完当前,解压到hadoop的native目次下,掩盖原有文件即可。操纵如下:

                1. tar xvf hadoop-native-64-2.6.0.tar -C /home/jiaan.gja/install/hadoop-2.6.0/lib/native/  

                令人绝望的是,这种方法并欠好使,看到最初的处理方案是需求下载Hadoop源码,重新编译,但这种方法有些重,我不计划实验了。有没有轻便的处理方案,还盼望晓得的同窗通知一下。

                yarn.nodemanager.aux-services错误

                在实行start-yarn.sh剧本启动YARN时,在Slave1和Slave2呆板上实行jps下令未发明NodeManager历程,于是登录Slave呆板检查日记,发明以下错误信息:

                Linux下Hadoop2.6.0集群情况的搭建

                参考网上的处理方法,是由于yarn.nodemanager.aux-services对应的值mapreduce.shuffle曾经被交换为mapreduce_shuffle。有些参考用书上也错误的写为另一个值mapreduce-shuffle。

                持续阅读
                要害词 :
                Hadoop集群
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台