北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > Hadoop > 注释

                测试hadoop集群能否装置乐成(用jps下令和实例停止验证)

                2016-01-26 14:44泉源:中国存储网
                导读:3节点hadoop集群的装置设置装备摆设完成后,便是测试hadoop集群能否装置乐成的办法,可以用jps下令和实例停止验证集群能否装置设置装备摆设乐成。

                在上篇引见了3节点hadoop集群的装置设置装备摆设,装完hadoop集群后,验证hadoop集群能否装置乐成的办法。自己集群是三台假造机,一台是master,别的两台辨别为slave1和slave2。在你用start-all.sh启动集群后,可以用jps下令和实例停止验证集群能否装置设置装备摆设乐成。

                1、用jps下令

                (1)master节点

                启动集群:

                cy@master:~$ start-all.sh

                starting namenode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-namenode-master.out

                slave2: starting datanode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-datanode-slave2.out

                slave1: starting datanode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-datanode-slave1.out

                master: starting secondarynamenode, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-secondarynamenode-master.out

                starting jobtracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-jobtracker-master.out

                slave1: starting tasktracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-tasktracker-slave1.out

                slave2: starting tasktracker, logging to /home/cy/Hadoop/hadoop-1.2.1/libexec/../logs/hadoop-cy-tasktracker-slave2.out

                用jps下令检查Java历程:

                cy@master:~$ jps

                6670 NameNode

                7141 Jps

                7057 JobTracker

                (2)slave1节点

                用jps下令检查Java历程:

                cy@slave1:~$ jps

                3218 Jps

                2805 DataNode

                2995 TaskTracker

                (3)slave2节点

                用jps下令检查Java历程:

                cy@slave2:~$ jps

                2913 TaskTracker

                2731 DataNode

                3147 Jps

                假如三台假造机用jps下令盘问时如下面表现的那样子,就阐明hadoop装置和设置装备摆设乐成了。

                 

                2、hadoop集群的测试,用hadoop-examples-1.2.1.jar中自带的wordcount顺序停止测试,该顺序的作用是统计单词的个数。

                (1)我们如今桌面上创立一个新的文件test.txt,外面统共有10行,每行都是hello world

                (2)在HDFS零碎里创立一个input文件夹,运用下令如下:

                          hadoop fs -mkdir input  

                         或  hadoop fs -mkdir /user/你的用户名/input

                (3)把创立好的test.txt上传到HDFS零碎的input文件夹下,运用下令如下所示。

                          hadoop fs -put /home/你的用户名/桌面/test.txt  input

                         或 hadoop fs -put /home/你的用户名/桌面/test.txt   /user/你的用户名/input

                (4)我们可以检查test.txt能否在HDFS的input文件夹下,如下所示:

                          hadoop fs -ls input

                          假如表现如下就阐明上传乐成:

                         Found 1 items

                         -rw-r--r--   3 cy supergroup        120 2015-05-08 20:26 /user/cy/input/test.txt

                (5)实行hadoop-examples-1.2.1.jar中自带的wordcount顺序,如下:(提示:在实行上面的下令之前,你要在终端用cd下令进入到/home/cy/Hadoop/hadoop-1.2.1目次)

                         hadoop jar hadoop-examples-1.2.1.jar wordcount /user/你的用户名/input/test.txt  /user/你的用户名/output

                        假如表现如下后果就阐明运转乐成:

                15/05/08 20:31:29 INFO input.FileInputFormat: Total input paths to process : 1

                15/05/08 20:31:29 INFO util.NativeCodeLoader: Loaded the native-hadoop library

                15/05/08 20:31:29 WARN snappy.LoadSnappy: Snappy native library not loaded

                15/05/08 20:31:30 INFO mapred.JobClient: Running job: job_201505082010_0001

                15/05/08 20:31:31 INFO mapred.JobClient:  map 0% reduce 0%

                15/05/08 20:31:35 INFO mapred.JobClient:  map 100% reduce 0%

                15/05/08 20:31:42 INFO mapred.JobClient:  map 100% reduce 33%

                15/05/08 20:31:43 INFO mapred.JobClient:  map 100% reduce 100%

                15/05/08 20:31:43 INFO mapred.JobClient: Job complete: job_201505082010_0001

                15/05/08 20:31:43 INFO mapred.JobClient: Counters: 29

                15/05/08 20:31:43 INFO mapred.JobClient:   Job Counters 

                15/05/08 20:31:43 INFO mapred.JobClient:     Launched reduce tasks=1

                15/05/08 20:31:43 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=3117

                15/05/08 20:31:43 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0

                15/05/08 20:31:43 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0

                15/05/08 20:31:43 INFO mapred.JobClient:     Launched map tasks=1

                15/05/08 20:31:43 INFO mapred.JobClient:     Data-local map tasks=1

                15/05/08 20:31:43 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=8014

                15/05/08 20:31:43 INFO mapred.JobClient:   File Output Format Counters 

                15/05/08 20:31:43 INFO mapred.JobClient:     Bytes Written=18

                15/05/08 20:31:43 INFO mapred.JobClient:   FileSystemCounters

                15/05/08 20:31:43 INFO mapred.JobClient:     FILE_BYTES_READ=30

                15/05/08 20:31:43 INFO mapred.JobClient:     HDFS_BYTES_READ=226

                15/05/08 20:31:43 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=116774

                15/05/08 20:31:43 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=18

                15/05/08 20:31:43 INFO mapred.JobClient:   File Input Format Counters 

                15/05/08 20:31:43 INFO mapred.JobClient:     Bytes Read=120

                15/05/08 20:31:43 INFO mapred.JobClient:   Map-Reduce Framework

                15/05/08 20:31:43 INFO mapred.JobClient:     Map output materialized bytes=30

                15/05/08 20:31:43 INFO mapred.JobClient:     Map input records=10

                15/05/08 20:31:43 INFO mapred.JobClient:     Reduce shuffle bytes=30

                15/05/08 20:31:43 INFO mapred.JobClient:     Spilled Records=4

                15/05/08 20:31:43 INFO mapred.JobClient:     Map output bytes=200

                15/05/08 20:31:43 INFO mapred.JobClient:     CPU time spent (ms)=610

                15/05/08 20:31:43 INFO mapred.JobClient:     Total committed heap usage (bytes)=176427008

                15/05/08 20:31:43 INFO mapred.JobClient:     Combine input records=20

                15/05/08 20:31:43 INFO mapred.JobClient:     SPLIT_RAW_BYTES=106

                15/05/08 20:31:43 INFO mapred.JobClient:     Reduce input records=2

                15/05/08 20:31:43 INFO mapred.JobClient:     Reduce input groups=2

                15/05/08 20:31:43 INFO mapred.JobClient:     Combine output records=2

                15/05/08 20:31:43 INFO mapred.JobClient:     Physical memory (bytes) snapshot=182902784

                15/05/08 20:31:43 INFO mapred.JobClient:     Reduce output records=2

                15/05/08 20:31:43 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=756301824

                15/05/08 20:31:43 INFO mapred.JobClient:     Map output records=20

                (6)我们可以运用上面的下令还检查运转后的后果:

                         hadoop fs -ls output

                         hadoop fs -text /user/你的用户名/output/part-r-00000

                假如表现如下就阐明hadoop三个节点装置和设置装备摆设乐成,测试也乐成了,就可以持续更深化地运用和研讨hadoop了

                hello 10

                world 10

                以上都是自己在装置和设置装备摆设hadoop的切身体验,各人可以自创自创,请多多支持,我还会持续写关于我本人学习hadoop的一些阅历。

                持续阅读
                要害词 :
                hadoop集群
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台