北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > 数据库 > Oracle > 装置设置装备摆设 > 注释

                Hadoop装置手册 Hadoop超等傻瓜式装置指南

                2015-07-14 21:12泉源:中国存储网
                导读:Hadoop运转软件情况:SSH及 SSHD效劳正常运转2. JDK,

                一、 Hadoop预备篇:

                Hadoop运转软件情况:

                1. SSH及 SSHD效劳正常运转2. JDK

                假如没装,可以本人装置一下:

                Sudo yum –y install jdk –b current

                二、 Hadoop根底篇(装置完成单节点Hadoop)1. 源代码下载

                1.1 下载Hadoop 源码紧缩包至效劳器

                wget Hadoop装置手册 Hadoop超等傻瓜式装置指南http://mirror.bjtu.edu.cn/apache/hadoop/core/hadoop-0.20.2/hadoop-0.20.2.tar.gz

                1.2 解压源码紧缩包 tar HadoopInstall

                Tar –zvxf hadoop-0.20.2.tar.gz –C HadoopInstall

                HadoopInstall即为Hadoop装置目次

                2. 情况变量设置装备摆设 : (hadoop_env.sh )

                目次/home/YOURDictionary/HadoopInstall/ hadoop-0.20.2 /conf

                2.1 JAVA_HOME:必选变量。

                设置export JAVA_HOME=/usr/java/jdk1.6.0 jdk途径

                2.2 HADOOP_HOME:可选变量

                HADOOP_HOME默许的是bin目次的父目次,即/home/usr/HadoopInstall/ hadoop-0.20.2。

                设置export HADOOP_HOME=/home/usr/HadoopInstall/ hadoop-0.20.2

                3. 情况设置装备摆设文件设置装备摆设

                次要有三个设置装备摆设文件:core-site.xml, hdfs-site.xml, mapred-site.xml

                3.1 conf/core-site.xml


                <configuration>

                  <property>

                   <name>fs.default.name</name> —-文件零碎的默许称号

                    <value>hdfs://(master ip):9000</value>

                  </property>

                </configuration>

                同理设置装备摆设其他参数:

                a. Hadoop运转的暂时目次

                hadoop.tmp.dir=/home/ads/data(本人设定本人假造机上的文件夹途径)

                3.2 conf/hdfs-site.xml:


                <configuration>

                  <property>

                    <name>dfs.replication</name>

                    <value>1</value>

                  </property>

                </configuration>
                同理设置装备摆设其他参数:

                a. DFS的数据保管目次:dfs.data.dir=/home/data,/home1/data(本人设定本人假造机上的文件夹途径

                b. DFS Namenode保管的地位:dfs.name.dir=${hadoop.tmp.dir}/dfs/name,/home/ads/data1/dfs/name(本人设定本人假造机上的文件夹途径)

                3.3 conf/mapred-site.xml:


                <configuration>

                  <property>

                    <name>mapred.job.tracker</name> — Jobtracker的地位

                    <value>(master ip):9001</value>

                  </property>

                </configuration>
                同理设置装备摆设其他参数:
                a. 单节点同时运转的最大map数:mapred.tasktracker.map.tasks.maximum=8
                b. 单节点同时运转的最大reduce数:mapred.tasktracker.reduce.tasks.maximum=6

                4 主机本身买通 (ssh-keygen 下令详解见下节进阶篇)

                $ ssh-keygen -t rsa -P ” -f ~/.ssh/id_ rsa 
                $ cat ~/.ssh/id_ rsa.pub >> ~/.ssh/authorized_keys

                5 启动

                进入~/HadoopInstall/ hadoop-0.20.2目次

                5.1 款式化namenode

                实行上面的下令[usr@servername: hadoop-0.20.2]$bin/hadoop namenode –format

                5.2 复杂启动一切保卫

                [usr@servername: hadoop-0.20.2]$ bin/start-all.sh

                初级启动拜见:Hadoop初级篇(Link)

                5.3 中止保卫

                [usr@servername: hadoop-0.20.2]$bin/stop-all.sh

                6 验证测试

                启动乐成后,可阅读器检查以下地点:

                6.1 Job tracker

                http://master称号:50030,能检查此页面,页面形态(Stated)显式为RUNNing(页面左上角)。

                6.2 NameNode

                http://master称号:50070,能看到Live Datanodes。

                三、 Hadoop进阶篇(装置多节点hadoop):3.1 集群SSH设置,集群买通(留意是双向哦)

                比方集群存在三台呆板,servername-1为主机。

                3.1.1 在servername-1上天生密钥对: 
                [usr@servername-1:~]$ssh-keygen -t rsa

                讯问保管途径时间接回车接纳默许途径

                提示要为天生的密钥输出passphrase的时,间接回车,将其设定为空暗码

                天生的密钥对id_rsa,id_rsa.pub,默许存储在/home/usr/.ssh目次下。

                3.1.2 id_rsa.pub的内容复制到每个呆板(也包罗本机)

                id_rsa.pub的内容复制到每个呆板(也包罗本机)的/home/usr/.ssh/authorized_keys文件中。

                假如呆板上曾经有 authorized_keys文件,就在文件末端加上id_rsa.pub中的内容。

                假如没有authorized_keys这个文件,间接cp 或许scp就好了,上面的操纵假定各个呆板上都没有authorized_keys文件。

                i. 关于servername-1

                [usr@servername-1:.ssh]$cp id_rsa.pub authorized_keys

                ii. 关于servername-2(servername-3同servername-2的办法)

                [usr @ servername-2:~]$mkdir .ssh

                [usr @ servername-1:.ssh]$scp authorized_keys servername-2:/home/ servername /.ssh/

                iii. 设置authorized_keys文件读写权限

                [dbrg@ servername-2:.ssh]$chmod 644 authorized_keys必需包管authorized_keys只对其一切者有读写权限,其别人不容许有写的权限,不然SSH是不会任务的。

                iv. 验证测试

                i. 留意每个呆板上的.ssh目次的ls -la都应该和下面是一样的

                [usr @ servername-2:.ssh]ls -la 
                drwx—— 2 usr users. 
                drwx—— 3 usr users.. 
                -rw-r–r– 1 usr users authorized_keys

                ii. 测试本机ssh servername-1

                iii. [usr @ servername-1:~]$ssh servername-2

                假如ssh设置装备摆设好了,就会呈现以下提示信息 
                The authenticity of host [servername-2] can’t be established. 
                Key fingerprint is 1024 5f:a0:0b:65:d3:82:df:ab:44:62:6d:98:9c:fe:e9:52. 
                Are you sure you want to continue connecting (yes/no)? 
                OpenSSH通知你它不晓得这台主机,但是你不必担忧这个题目,由于你是第一次登录这台主机。键入“yes”。这将把这台主机的“辨认标志”加到“~/.ssh/know_hosts”文件中。第二次拜访这台主机的时分就不会再表现这条提示信息了。 
                然后你会发明不需求输出暗码就可以树立ssh衔接了,祝贺你,设置装备摆设乐成了

                3.2 Master主机设置装备摆设(同上一节)3.3 Masters/Slave文件设置装备摆设

                3.3.1 Masters

                在master主机上的hadoop-0.20.2 /conf/目次下,翻开master 文件,把master 主机名添加出来:,本文以servername-1做为master,以是在master文件内容是:

                servername-1

                3.3.2 Slaves

                在master主机上的hadoop-0.20.2 /conf/目次下,翻开slaves文件,该文件用来指定一切的从节点,一行指定一个主机名。即本文中的servername-2,servername-3,因而slaves文件看起来应该是如许的 
                servername-2 
                servername-3

                3.4 摆设Hadoop集群 (必需放在最初一步哦 )

                后面讲的这么多Hadoop的情况变量和设置装备摆设文件都是在dbrg-1这台master主机上的, 将上述设置装备摆设好的hadoop分发至各个slave的相反地位,留意要包管目次构造分歧,

                [usr@ servername-1:~]$scp -r /home/ YOURDictionary /HadoopInstall servername-2:/home/YOURDictionary / HadoopInstall 
                [usr@ servername-1:~]$scp -r /home/ YOURDictionary /HadoopInstall servername-3:/home/YOURDictionary / HadoopInstall

                3.5 启动

                同hadoop 根底篇启动

                3.6 验证测试

                同hadoop 根底篇 验证测试

                持续阅读
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台