北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > Hadoop > 注释

                Hadoop从入门到通晓之 怎样从Hadoop1.x转到Hadoop2.x

                2014-04-11 00:00泉源:中国存储网
                导读:Hello 各人好,我是stefan,明天来和各人分享下怎样将Hadoop1.x迁徙至Hadoop2.x。这篇博文提供了将Hadoop MapReduce使用从Hadoop1.x迁徙到Hadoop2.x的办法。在2.x的版本中,apache将resource

                Hello 各人好,我是stefan,明天来和各人分享下怎样将Hadoop1.x迁徙至Hadoop2.x。这篇博文提供了将Hadoop MapReduce使用从Hadoop1.x迁徙到Hadoop2.x的办法。

                 

                在2.x的版本中,apache将resource management剥离出来集成到Hadoop YARN里了,目标在于将application management框架离开使得MapReduce仍然是一个地道的散布式盘算框架。

                普通状况下,由于早版本的MapReduce在新的框架(YARN)设计时被只管即便重用了,因而YARN对MRv1坚持向下兼容。不外由于一些改良和代码重构,少局部API捏词提供了向后兼容。

                 

                1、对二进制顺序的兼容性

                起首,我们要确保运用旧mapred的API的使用顺序二进制兼容性。也便是说用MRv1构建的使用不需求重新编译,就可以跑在YARN上。只需求经过设置装备摆设来将使用顺序摆设到Hadoop2.x的集群上。

                2、源代码兼容性

                我们不克不及完全确保二进制顺序兼容性由于上一个版本到如今YARN版本曾经改良了许多中央。但是我们可以确保用YARN版本的MapReduce重新编译的顺序是波动的。以是各人最好用新的api重新编译一下本人的顺序。

                3、不支持的工具

                MRAdmin在YARN版中曾经被删除,由于mradmin下令不存在了。YARN中用rmadmin中的下令替换了他。假如间接运用这个类的使用不论是二进制顺序照旧源代码都市堕落。

                4、MRv1用户和YARN用户之间的均衡

                惋惜完满的兼容是不存在的,坚持对MRv1的二进制顺序的兼容会招致早起MRv2的二进制顺序的不兼容题目,特殊是0.23版本的用户(只管即便不要运用这个版本咯)。关于MapReduce的api我们兼容MRv1的使用顺序,由于用户群比拟普遍,下表是Hadoop0.23中不兼容api的列表:

                 

                Problematic Function Incompatibility Issue
                org.apache.hadoop.util.ProgramDriver#drive Return type changes from void to int
                org.apache.hadoop.mapred.jobcontrol.Job#getMapredJobID Return type changes from String to JobID
                org.apache.hadoop.mapred.TaskReport#getTaskId Return type changes from String toTaskID
                org.apache.hadoop.mapred.ClusterStatus#UNINITIALIZED_MEMORY_VALUE Data type changes from long to int
                org.apache.hadoop.mapreduce.filecache.DistributedCache#getArchiveTimestamps Return type changes from long[] toString[]
                org.apache.hadoop.mapreduce.filecache.DistributedCache#getFileTimestamps Return type changes from long[] toString[]
                org.apache.hadoop.mapreduce.Job#failTask Return type changes from void to boolean
                org.apache.hadoop.mapreduce.Job#killTask Return type changes from void to boolean
                org.apache.hadoop.mapreduce.Job#getTaskCompletionEvents Return type changes fromo.a.h.mapred.TaskCompletionEvent[] too.a.h.mapreduce.TaskCompletionEvent[]

                留意事变:假如想在YARN上运转Hadoop-examples-1.x.x.jar(之前版本的示例代码),那么可以去MapReduce文件夹下运转hadoop-mapreduce-examples-2.x.x.jar。
                默许下Hadoop 框架的jar包在classpath中呈现在用户jar包的后面,使得2.x.x的jar包会一直被获取到。用户需求将hadoop-mapreduce-examples-2.x.x.jar从集群中的一切节点的classpath中去撤除。或许我们可以设置HADOOP_USER_CLASSPATH_FIRST=true 而且 HADOOP_CLASSPATH=...:hadoop-examples-1.x.x.jar来运转我们本人的jar包,而且在mapred-site.xml中参加上面的设置装备摆设项来使得YARN容器也选择我们本人的jar包。

                <property>
                        <name>mapreduce.job.user.classpath.first</name>
                        <value>true</value>
                 </property>

                好了明天的Hadoop解说就到这里,转载请注明来由:http://blog.csdn.net/guoshenglong11/article/details/22728223,欢送各人存眷我的博客。
                持续阅读
                要害词 :
                Hadoop装置
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐

                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台