北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > Hadoop > 注释

                三节点hadoop集群设置装备摆设和测试进程分享

                2016-01-26 12:20泉源:cnblogs
                导读:三节点hadoop集群设置装备摆设和测试进程分享,零碎:Ubuntu12.04,java版本:JDK1.7,呆板分派:一台master,两台slave。

                三节点hadoop集群设置装备摆设和测试进程分享

                一、情况预备(一切节点都需求做):

                零碎:Ubuntu12.04

                java版本:JDK1.7

                SSH(ubuntu自带)

                确保三台机在统一个ip段,最好设置为静态IP,重启后就不必纠结IP变革了

                呆板分派:一台master,两台slave

                我的主机信息是(hosts文件添加如下信息):

                192.168.88.123    h1

                192.168.88.124    h2

                192.168.88.125    h3

                此中第一项是内网IP ,第二项是主机名

                各节点作用:

                h1:NameNode、JobTracker

                h2:DataNode、TaskTracker

                h3:DataNode、TaskTracker

                装置SSH:

                sudo apt-get install ssh

                测试:ssh localhost

                输出以后用户的暗码回车 没非常阐明装置乐成

                开启SSHD效劳:

                装置:sudo apt-get install openssh-server

                确认能否启动:

                ps  -e | grep  ssh

                找到到sshd,有即启动了。

                创立Hadoop用户(名为grid)

                adduser grid

                信息随意填,当前运转操纵Hadoop都是用这个用户(留意看清下令行别用了其他用户)

                二、设置装备摆设Hadoop

                  1.无暗码登岸

                  在Hadoop启动当前,Namenode是经过SSH(Secure Shell)来启动和中止各个datanode上的种种保卫历程的,这就需要在节点之间实行指令的时分是不需要输出暗码的方式,故我们需要设置装备摆设SSH运用无暗码公钥认证的方式。

                 起首设置namenode的ssh为无需暗码的、主动登岸。

                  换切到grid用户

                  su grid

                  cd

                  ssh-keygen -t rsa

                  完成后会在grid目次发生隐蔽文件.ssh,经过ls检查,然后

                  cp id_rsa.pub authorized_keys

                  测试

                  ssh h1

                  第一次会提示确认持续衔接,打yes,这会把该效劳器添加到你的已知主机列表中

                  异样在h2,h3上做以上操纵

                  最初,怎样使各个节点互相拜访不需求暗码,将三个节点的authorized_keys文件外面的内容分解一个文件然后交换失原来的,交换终了后可以用 

                  ssh XX(XX为主机名)

                  互相测试能否衔接乐成。

                  2.设置装备摆设Hadoop文件:

                在hadoop/conf目次下修正文件有hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,master,slaves

                hadoop-env.sh

                修正JAVA_HOME途径

                1
                export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_45

                记得去失后面的#

                core-site.xml:

                <?xml version="1.0"?>
                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                
                <!-- Put site-specific property overrides in this file. -->
                
                <configuration>
                    <property>
                        <name>fs.default.name</name>
                        <value>hdfs://h1:49000</value>
                    </property>
                <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/grid/var</value>
                </property>
                </configuration>
                1)fs.default.name是NameNode的URI。hdfs://主机名:端口/
                2)hadoop.tmp.dir :Hadoop的默许暂时途径,这个最好设置装备摆设,假如在新增节点或许其他状况下莫明其妙的DataNode启动不了,就删除此文件中的tmp目次即可。不外假如删除了NameNode呆板的此目次,那么就需求重新实行NameNode款式化的下令。

                hdfs-site.xml:

                <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.name.dir</name> <value>/home/grid/name1,/home/grid/name2</value> <description> </description> </property> <property> <name>dfs.data.dir</name> <value>/home/grid/data1,/home/grid/data2</value> <description> </description> </property> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration>

                1) dfs.name.dir是NameNode耐久存储名字空间及事件日记的当地文件零碎途径。 当这个值是一个逗号联系的目次列表时,nametable数据将会被复制到一切目次中做冗余备份。
                2) dfs.data.dir是DataNode寄存块数据的当地文件零碎途径,逗号联系的列表。 当这个值是逗号联系的目次列表时,数据将被存储在一切目次下,通常散布在差别设置装备摆设上。
                3)dfs.replication是数据需求备份的数目,默许是3,假如此数大于集群的呆板数会堕落。

                留意:此处的name1、name2、data1、data2目次不克不及事后创立,hadoop款式化时会主动创立,假如事后创立反而会有题目。

                mapred-site.xml

                <?xml version="1.0"?>
                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                
                <!-- Put site-specific property overrides in this file. -->
                
                <configuration>
                    <property>
                        <name>mapred.job.tracker</name>
                        <value>h1:49001</value>    
                    </property>
                    <property>
                        <name>mapred.local.dir</name>
                        <value>/home/grid/var</value>
                    </property>
                </configuration>

                1)mapred.job.tracker是JobTracker的主机(或许IP)和端口。主机:端口。

                设置装备摆设masters和slaves主从结点

                master

                1
                 

                slaves

                1
                2
                h2
                h3

                设置装备摆设终了,把设置装备摆设好的hadoop文件夹拷贝到其他集群的呆板上,并包管其他呆板的JDK 装置途径分歧(假如纷歧致就别的再修正设置装备摆设文件conf/hadoop-env.sh憋)

                scp -r /home/grid/hadoop-0.20.2 grid@h2:/home/grid

                scp -r /home/grid/hadoop-0.20.2 grid@h2:/home/grid

                三、启动Hadoop

                1、先款式化一个新的散布式文件零碎

                cd

                bin/hadoop namenode -format

                乐成后零碎输入: 

                INFO common.Storage: Storagedirectory /opt/hadoop/hadoopfs/name2 has been successfully formatted.

                这一行,看到successfully单词木有,款式化乐成。

                实行完后可以到master呆板上看到/home/hadoop//name1和/home/hadoop//name2两个目次。

                2.启动一切节点

                在主节点master下面启动hadoop,主节点会启动一切从节点的hadoop。

                cd

                bin/start-all.sh(同时启动HDFS和Map/Reduce)

                输入:

                grid@h1:~/hadoop-0.20.2$ bin/start-all.sh
                starting namenode, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-namenode-h1.out
                h2: starting datanode, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-datanode-h2.out
                h3: starting datanode, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-datanode-h3.out
                h1: starting secondarynamenode, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-secondarynamenode-h1.out
                starting jobtracker, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-jobtracker-h1.out
                h2: starting tasktracker, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-tasktracker-h2.out
                h3: starting tasktracker, logging to /home/grid/hadoop-0.20.2/bin/../logs/hadoop-grid-tasktracker-h3.out

                没有呈现什么Error或Warming之类的就表现运转乐成了

                运转乐成后看看顺序能否正常

                /usr/lib/jvm/jdk1.7.0_45/bin//jps

                可以看到在h1结点上有历程

                2928 NameNode
                3319 Jps
                3105 SecondaryNameNode
                3184 JobTracker

                很熟习的字眼我就未几说了,在slaves结点上也检测下能否正常,会有

                TaskTracker,DataNode

                若没短少以上历程即设置装备摆设有题目。

                四、测试

                建一个目次,外面建两个txt文件,用hadoop项目现有的hadoop-0.20.2-examples.jar例子测试txt外面单词的呈现次数。

                cd

                mkdir input

                cd input

                echo "hello world" > test1.txt

                echo "hello hadoop" > test2.txt

                建完文件后,将文件放到HDFS零碎的in目次上

                cd ../hadoop-0.20.2

                bin/hadoop dfs -put ../input in

                测试了,运转

                bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out

                会呈现一系列的运转信息

                grid@h1:~/hadoop-0.20.2$ bin/hadoop jar hadoop-0.20.2-examples.jar wordcount in out
                13/12/26 14:04:05 INFO input.FileInputFormat: Total input paths to process : 2
                13/12/26 14:04:06 INFO mapred.JobClient: Running job: job_201312261337_0006
                13/12/26 14:04:07 INFO mapred.JobClient:  map 0% reduce 0%
                13/12/26 14:04:14 INFO mapred.JobClient:  map 50% reduce 0%
                13/12/26 14:04:15 INFO mapred.JobClient:  map 100% reduce 0%
                13/12/26 14:04:23 INFO mapred.JobClient:  map 100% reduce 100%
                13/12/26 14:04:25 INFO mapred.JobClient: Job complete: job_201312261337_0006
                13/12/26 14:04:25 INFO mapred.JobClient: Counters: 17
                13/12/26 14:04:25 INFO mapred.JobClient:   Job Counters 
                13/12/26 14:04:25 INFO mapred.JobClient:     Launched reduce tasks=1
                13/12/26 14:04:25 INFO mapred.JobClient:     Launched map tasks=2
                13/12/26 14:04:25 INFO mapred.JobClient:     Data-local map tasks=2
                13/12/26 14:04:25 INFO mapred.JobClient:   FileSystemCounters
                13/12/26 14:04:25 INFO mapred.JobClient:     FILE_BYTES_READ=55
                13/12/26 14:04:25 INFO mapred.JobClient:     HDFS_BYTES_READ=25
                13/12/26 14:04:25 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=180
                13/12/26 14:04:25 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=25
                13/12/26 14:04:25 INFO mapred.JobClient:   Map-Reduce Framework
                13/12/26 14:04:25 INFO mapred.JobClient:     Reduce input groups=3
                13/12/26 14:04:25 INFO mapred.JobClient:     Combine output records=4
                13/12/26 14:04:25 INFO mapred.JobClient:     Map input records=2
                13/12/26 14:04:25 INFO mapred.JobClient:     Reduce shuffle bytes=61
                13/12/26 14:04:25 INFO mapred.JobClient:     Reduce output records=3
                13/12/26 14:04:25 INFO mapred.JobClient:     Spilled Records=8
                13/12/26 14:04:25 INFO mapred.JobClient:     Map output bytes=41
                13/12/26 14:04:25 INFO mapred.JobClient:     Combine input records=4
                13/12/26 14:04:25 INFO mapred.JobClient:     Map output records=4
                13/12/26 14:04:25 INFO mapred.JobClient:     Reduce input records=4

                  

                没有什么Error或Warming之类的字眼特殊是有

                1
                map 100% reduce 100%

                表现乐成运转了,后果可一输出

                bin/hadoop dfs -cat out/*

                看到后果

                hadoop 1
                hello 2
                world 1

                over啦。

                别的,验证hadoop集群能否设置装备摆设乐成,可以看文章:测试hadoop集群能否装置乐成(用jps下令和实例停止验证)

                作者博客:http://www.cnblogs.com/xuhn/p/3492551.html

                持续阅读
                要害词 :
                hadoop集群
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐

                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台