北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > 存储资讯 > 注释

                Hadoop大数据存算别离下,XSKY星斗天合怎样处理新旧存储共存

                2020-07-09 11:14泉源:中国存储网
                导读:XSKY经过ViewFS的方法,在不改动用户运用习气的条件下,将原有HDFS数据与新增XEOS数据买通,处理了原有HDFS集群与新XEOS集群的共请安题。

                在传统的Apache Hadoop集群零碎中,盘算和存储资源是严密耦合的,HDFS为大数据存储带来便当的同时,也面对着一些应战:

                当存储空间或盘算资源缺乏时,只能同时对两者停止扩容。假定用户对存储资源的需求宏大于对盘算资源的需求,那么同时扩容盘算和存储后,新扩容的盘算资源就被糜费了,反之,存储资源被糜费。

                这招致扩容的经济服从较低,额定添加本钱。而独立扩展的盘算和存储则愈加灵敏,同时可明显低落本钱。

                如今Hadoop接纳存算别离的架构的趋向越来越分明。

                XSKY HDFS Client是为XEOS存储集群和Hadoop盘算集群量身打造的衔接器。经过XSKY HDFS Client,Hadoop使用可以拜访存储在XEOS中的一切数据。

                但是,在引入XEOS存储后,会呈现原有HDFS与XEOS共存的状况,怎样将两套存储集群都应用起来是需求处理的题目。

                01数据跨集群拷贝

                普通状况下,盘算使用需求拜访的数据,假如保管在差别的集群中,那么应该将此中一个集群的数据拷贝到另一个集群上。普通状况下运用Hadoop自带的DistCp东西,对数据停止跨集群的拷贝。

                Hadoop大数据存算别离下,XSKY星斗天合怎样处理新旧存储共存

                这种方法固然在肯定水平上可以处理数据兼并的题目,但假如数据量比拟大,而且机房带宽无限制的状况下,能够拷贝数据的工夫会十分长。另有一个便是在拷贝进程中原始数据发作窜改,就还需求思索增量同步的题目。

                02联邦HDFS和ViewFS

                在Hadoop 2.x刊行版中引入了联邦HDFS功用,希冀可以处理NameNode的内请安题。联邦HDFS容许零碎经过添加多个NameNode来完成扩展,此中每个NameNode办理文件零碎定名空间中的一局部。

                但是,在实践使用中,零碎办理员需求维护多个NameNodes(一切NameNode都需求高可用)和负载平衡效劳,这又添加了办理本钱。以是HDFS的联邦方案并没有被消费情况所接纳。

                Hadoop大数据存算别离下,XSKY星斗天合怎样处理新旧存储共存

                在提供联邦HDFS方案同时,Hadoop 2.x还提供了ViewFS,用来办理一切多个定名空间视图。

                Hadoop大数据存算别离下,XSKY星斗天合怎样处理新旧存储共存

                固然联邦HDFS方案并没有被大范围使用,但ViewFS却可以用来处理XEOS与HDFS共请安题。

                03ViewFS的完成

                ViewFS全称是ViewFileSystem,它不是一个新的文件零碎,只是逻辑上的一个视图文件零碎,它完成了规范的Hadoop FileSystem接口。但是,真实的恳求处置照旧在各自真实的存储集群上。

                Hadoop大数据存算别离下,XSKY星斗天合怎样处理新旧存储共存

                ViewFS会维护一个mount-table,次要是viewfs的逻辑目次与实践底层存储的映射干系。在接纳到使用的挪用时,ViewFS会剖析用户的拜访恳求,并经过mount-table找到对应的底层存储目次,转发相应的恳求究竟层存储。

                ViewFS会把一切使用层的FileSystem挪用透传究竟层真实文件零碎中。由于ViewFs完成了Hadoop文件零碎接口,因而运用它通明地运转Hadoop东西。比方,一切shell下令都可以与HDFS和当地文件零碎一同运用ViewFS。

                在集群的core-site设置装备摆设中,fs.defaultFS被设置为ViewFS的root目次,也便是指定的mount-table。

                Hadoop大数据存算别离下,XSKY星斗天合怎样处理新旧存储共存

                挂载表的挂载点在规范Hadoop设置装备摆设文件中指定。ViewFS的一切mount-table设置装备摆设条款均以“fs.viewfs.mounttable”为前缀,运用“link“标志指定链接其他文件零碎的mount点。发起运用与“link”文件零碎目的地位相反的mount点称号。关于未在装置表中设置装备摆设的一切称号空间,我们可以经过linkFallback将它们回退到默许文件零碎。

                在集群的设置装备摆设中添加ViewFS的mount-table设置装备摆设,示比方下:

                Hadoop大数据存算别离下,XSKY星斗天合怎样处理新旧存储共存

                Hadoop零碎将在Hadoop设置装备摆设文件中查找称号为 “ClusterX” 的mount-table。将一切gateway和server设置装备摆设包括“ClusterX”,如上示例。

                04ViewFS的使用场景

                ViewFS可以在如了局景中运用:

                Hadoop大数据存算别离下,XSKY星斗天合怎样处理新旧存储共存

                非构造化的原始数据可以经过DistCp等东西间接存储在XEOS上,业务数据库构造化数据和使用买点数据可以经过ETL以Hive的内部表方法存储到XEOS中。HBase和Hive持续在原有的HDFS下面运转,也便是HBase表数据和Hive外部表数据依然经过HDFS来存储。

                如许的益处是海量非构造化数据,乃至是海量小文件都可以用XEOS来承载,加重HBase的压力,同时Hive新增数据全部经过XEOS来存储,后续扩容容量仅扩展XEOS存储集群即可。

                05XEOS设置装备摆设ViewFS

                大数据平台基于CDH 6.3.2。HDFS core-site.xml 添加如下设置装备摆设:

                Hadoop大数据存算别离下,XSKY星斗天合怎样处理新旧存储共存

                Hadoop FS下令行:

                Hadoop大数据存算别离下,XSKY星斗天合怎样处理新旧存储共存

                实行wordcount测试后果如下:

                Hadoop大数据存算别离下,XSKY星斗天合怎样处理新旧存储共存

                06小结

                XSKY经过ViewFS的方法,在不改动用户运用习气的条件下,将原有HDFS数据与新增XEOS数据买通,处理了原有HDFS集群与新XEOS集群的共请安题。原有的HDFS数据可以持续运用,而XEOS可以用于承载重生成的数据。

                这种方法不只可以充沛应用旧有设置装备摆设,到达浪费本钱的目标。同时,可以借助XEOS横向扩展才能,完成存储独自扩容。

                 

                持续阅读
                要害词 :
                XSKY
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台