北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > Hadoop > 注释

                完全散布形式Hadoop集群装置设置装备摆设 (一)

                2015-07-08 10:54泉源:中国存储网
                导读:Hadoop集群的摆设情况是颠末假造化之后的四台主机,Master是Hadoop集群的办理节点,紧张的hadoop装置设置装备摆设任务都在它下面,至于它的功用和作用请参考HadoopAPI。

                Hadoop集群的摆设情况是颠末假造化之后的四台主机,OS是Ubuntu Server10.04。(XenServer5.6兼容的OS并不包罗Ubuntu,将Ubuntu转成PV也是一个折腾的进程,另文引见)。Hadoop的版本号照旧是:0.20.2.装置Java情况如上一讲所示。

                主机名及其IP地点对应如下:

                Slave&TaskTracker:dm1,IP:192.168.0.17;(datanode)

                Slave&TaskTracker:dm2,IP:192.168.0.18;(datanode)

                Slave&TaskTracker:dm3,IP:192.168.0.9;(datanode)

                Master&JobTracker:dm4,IP:192.168.0.10;(namenode)

                Master是Hadoop集群的办理节点,紧张的设置装备摆设任务都在它下面,至于它的功用和作用请参考HadoopAPI。

                详细设置装备摆设步调如下:

                一.修正各个节点(dm1-dm4)的HostName,下令如下:

                1
                Vi /etc/hostname

                如下图所示例:

                完全散布形式Hadoop集群装置设置装备摆设 (一)

                二.在host中添加呆板的hostname和IP,用以通讯。Master需求晓得一切的slave的信息。对应的slave只需求晓得Master和本身的信息即可。

                下令如下:

                1
                vi /etc/hosts

                Master(dm4)的hosts设置装备摆设应该如下图所示:

                完全散布形式Hadoop集群装置设置装备摆设 (一)

                别的的slave(dm3……)的hosts设置装备摆设应该如下图所示:

                完全散布形式Hadoop集群装置设置装备摆设 (一)

                三.Hadoop中心代码需求设置装备摆设conf文件夹外面的core-site.xml,hdfs-site.xml,mapread-site.xml,mapred-site.xml,hadoop-env.sh这几个文件。详细各个设置装备摆设的寄义请参考Hadoop协助文档。

                1.起首编辑各个呆板节点(包罗master和slave)的core-site.xml文件,下令如下:(Hadoop 文件夹放在home下)

                1
                vi /home/hadoop/conf/core-site.xml

                core-site.xml文件设置装备摆设,应如上面代码所示:

                1
                2
                3
                4
                5
                6
                7
                8
                9
                10
                11
                <?xml version="1.0"?>
                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                 
                <!-- Put site-specific property overrides in this file. -->
                 
                <configuration>
                <property>
                    <name>fs.default.name</name>
                    <value>hdfs://dm4:9000</value>
                 </property>
                </configuration>

                2.其次编辑各个呆板节点(包罗master和slave)的hdfs-site.xml,下令如下:

                1
                vi /home/hadoop/conf/hdfs-site.xml

                hdfs-site.xml文件设置装备摆设,应如上面代码所示:

                1
                2
                3
                4
                5
                6
                7
                8
                9
                10
                <?xml version="1.0"?>
                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                 
                <!-- Put site-specific property overrides in this file. -->
                 
                <configuration>
                 <property>
                 <name>dfs.name.dir</name>
                 <value>/home/hadoop/NameData</value>
                 </property>
                1
                2
                3
                4
                5
                6
                7
                8
                9
                10
                <property>
                 <name>dfs.permissions</name>
                 <value>false</value>
                 </property>
                 
                 <property>
                 <name>dfs.replication</name>
                 <value>1</value>
                 </property>
                </configuration>

                3.再次,编辑各个呆板节点(包罗master和slave)mapred-site.xml文件,下令如下:

                1
                vi /home/hadoop/conf/mapred-site.xml

                mapred-site.xml文件设置装备摆设,应如上面代码所示:

                1
                2
                3
                4
                5
                6
                7
                8
                9
                10
                11
                <?xml version="1.0"?>
                <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
                 
                <!-- Put site-specific property overrides in this file. -->
                 
                <configuration>
                <property>
                <name>mapred.job.tracker</name>
                <value>192.168.0.10:9001</value>
                </property>
                </configuration>

                4.最初,编辑各个呆板节点(包罗master和slave) hadoop-env.sh文件,下令如下:

                1
                vi  /home/hadoop/conf/hadoop-env.sh

                向该文件参加几行代码,如下所示:

                1
                2
                3
                export HADOOP_HOME=/home/hadoop
                export   HADOOP_CONF_DIR=$HADOOP_HOME/conf
                export PATH=$PATH:$HADOOP_HOME/bin

                四.设置装备摆设集群的主从干系。在一切呆板节点上,Hadoop的conf文件夹中,都有slaves和masters两个文件。往masters中添加Master(dm4)的IP地点或许hostname。往slaves文件中添加Slave(dm1-dm3)的IP或hostname。一切节点都需求修正。

                Masters如下图所示:

                完全散布形式Hadoop集群装置设置装备摆设 (一)

                slaves如下图所示:

                完全散布形式Hadoop集群装置设置装备摆设 (一)

                行文至此,Hadoop的全体装置和设置装备摆设曾经完成。Hadoop集群的启动从Master(Namenode)呆板开端,它和slave(DataNode)之间通讯运用ssh,我们接上去需求设置ssh无暗码公钥认证登入。

                五.SSH非对称密钥的原理请拜见此文和彼文。起首要在一切节点天生密钥对,详细完成步调如下:

                1.一切节点天生RSA密钥对,下令如下:

                1
                ssh-keygen -t rsa

                呈现如下图所示:

                完全散布形式Hadoop集群装置设置装备摆设 (一)

                间接回车,密钥对寄存为/root/.ssh/id_rsa。在该文的演示中天生/root/viki.pub然后会要求你输出暗码,选择空

                完全散布形式Hadoop集群装置设置装备摆设 (一)

                最初天生如下图:

                完全散布形式Hadoop集群装置设置装备摆设 (一)

                2.将Master(Namenode)天生的公钥viki.pub的内容复制到本机的 /root/.ssh/ 的authorized_keys 文件 里。下令如下:

                1
                cp viki.pub authorized_keys

                然后,将authorized_keys 文件复制到各个slave(DataNode)呆板的 /root/.ssh/ 文件夹,下令如下:

                1
                scp  /root/.ssh/authorized_keys dm3:/root/.ssh/

                最初,在一切呆板实行用户权限下令chmod,下令如下:

                1
                chmod 644 authorized_keys

                颠末以上步调,ssh设置装备摆设也已完成。经过以下下令验证:

                1
                2
                3
                4
                5
                6
                ssh dm3
                exit
                ssh dm2
                exit
                ssh dm1
                exit

                第一次衔接需求暗码,输出yes和呆板暗码就可以。当前即不必再输出。

                六.启动并验证Hadoop集群,好像上讲所述。输出:http://192.168.0.10:50030/jobtracker.jsp

                在下所搭建的Hadoop集群截图:

                完全散布形式Hadoop集群装置设置装备摆设 (一)

                七.参考文献 

                1.Hadoop疾速入门 http://hadoop.apache.org/common/docs/r0.18.2/cn/quickstart.html

                2.通用线程: OpenSSH 密钥办理

                http://www.ibm.com/developerworks/cn/linux/security/openssh/part1/index.html

                本文转自:http://www.cnblogs.com/ventlam/archive/2011/01/21/hadoopcluster.html

                持续阅读
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台