北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > Hadoop > 注释

                Hadoop集群与HDFS在容灾建立中的劣势

                2015-06-18 15:50泉源:中国存储网
                导读:Cloudera与MasterCard的协作项目,借助HDFS和Hadoop集群以及Apache Sentry,Cloudera完成了在线与离线的一切数据与元数据的维护。

                近期的一系列互联网平安事情给企业敲响了信息平安的警钟,这也就谈到了企业数据灾备的题目。这个题目曾经是陈词滥调了,并且种种厂商也推出了项目单一的种种方案,比方双活、两地三中央等等观点。通常依据容灾零碎对劫难的抵挡水平,可分为数据容灾和使用容灾。数据容灾是指树立一个异地的数据零碎,对要害的数据停止备份存储,当毛病形成当地数据丧失时,可以经过备份找回;使用容灾条理更高,即在异地树立一套完好的、与当地数据零碎相称的备份使用零碎,在劫难呈现后,近程使用零碎敏捷接收或承当当地使用零碎的业务运转。

                Hadoop集群与HDFS在容灾建立中的劣势

                依据某在线旅游网站的声明,厥后台是一个由SOA(面向效劳)架构构成的巨大效劳器集群,看似复杂的一个页面面前由上千个使用子零碎以及上千个Web Service构成,而每个使用子零碎和每个Web Service之间都存在着互相挪用的依赖干系。发作事情后,携程的技能职员除了需求规复消费效劳器上的实行代码以外,还要规复并确保每个使用子零碎以及每个Web Service的功用正常,同时确保使用子零碎与Web Service间的挪用干系得以正常实行。因而才破费了十二个小时。

                实在许多企业平安工夫归结于办理题目,但是办理题目实在可以从技能上停止完成。Cloudera公司副总裁苗凯翔博士谈及近期互联网平安事情时,他表现,这些平安变乱关于用户形成的影响照旧蛮大的,固然在技能职员看来这些变乱的严峻水平并不大,但是带给企业的考虑是久远的。数据平安固然许多状况下是源自办理题目,但是企业可以接纳比拟先辈的技能来补偿办理上的破绽。就拿灾备来说,实在Hadoop便是不错的处理方案,Hadoop不管是从底层的HDFS存储零碎照旧其他办理组件都接纳了HA(高可用)设计。

                Hadoop集群与HDFS在容灾建立中的劣势

                Hadoop是现在最抢手的大数据盘算零碎,它完成了一个可扩展的散布式文件零碎HDFS作为海量数据的存储零碎。HDFS是主从式的散布式零碎,NameNode办理整个文件零碎的元数据,担任数据的分派,并办理着DataNode;而DataNode担任存储数据块,按块提供数据存取效劳。

                HDFS集群是由一个NameNode和多个DataNode构成的主从构造。NameNode是个数据办理器,担任办理HDFS文件和块,另有文件零碎的定名空间。该信息作为定名空间镜像和可编辑的日记永世保管在当地驱动器上。NameNode还存储非耐久性的信息,比方给定文件中一切块(Block)的地位。 HDFS文件被分红块,然后复制和存储在DataNode上。每个DataNode活期与NameNode同步块信息。

                Hadoop树立了主备的NameNode设置装备摆设,以此防止了单点毛病。当激进的毛病切换控制器(Failover Controller)检测到毛病,它可以让备用节点接收,让主用节点退上去。由于主用和备用的NameNode分享了可编辑日记和陈诉,备用NameNode可以十分敏捷地接收。

                苗凯翔以Cloudera效劳的六百多用户来说,此中触及许多银行等金融行业用户,但是从没有呈现过相似携程如许的事情。这次要得益于Cloudera基于Hadoop的数据办理产物。在金融行业随着种种危害和合规性的要求,数据办理曾经开展到EB级别,金融效劳企业和羁系机构正高兴应对新的合规的应战,尤其是触及到均衡数据办理的本钱和庞大性。

                现在许多企业把紧张的业务负载放在Hadoop下面,业界关于大数据项目标平安需求愈加急迫。我们以MasterCard为例,环球最大的信誉卡效劳商之一MasterCard需求满意领取卡行业规范,关于MasterCard来说,数据隐私和平安的紧张性显而易见。从种种协作同伴和供给商那边获取最新的技能来满意严厉行业平安规范,而Cloudera在满意这些平安规范的同时,为MasterCard数据中央办理带来了带来了更多的选择。Cloudera与MasterCard的协作项目,借助HDFS和Hadoop集群以及Apache Sentry,Cloudera完成了在线与离线的一切数据与元数据的维护。

                Hadoop集群与HDFS在容灾建立中的劣势

                Hadoop在文件零碎层有很强的平安性,但关于包管用户数据拜访和BI使用顺序的充沛平安方面,它缺乏细粒度的支持。因而,很多对平安系数要求较高的业内构造自愿做出选择,要么将数据置于非维护形态,要么将一切的用户拒之门外,大少数企业选择后者,严厉限定对Hadoop数据的拜访。Apache Sentry补偿了Hadoop的平安破绽。Sentry是一个Hadoop的权限控制的开源组件。为了对准确的用户和使用顺序提供准确的拜访级别,Sentry提供了细粒度级、基于脚色的受权以及多租户的办理形式。

                关于金融、当局、医疗保健和别的对敏感数据的拜访有严厉羁系的行业,如若运用Hadoop必需要到达以下几个要求:

                周边平安:经过网络平安、防火墙和终极的认证来确认用户身份,确保集群拜访的平安。

                数据平安:经过屏蔽和加密技能,维护集群中的数据不会被合法拜访,包罗已存储的数据和传输中的数据。

                拜访平安:经过文件零碎ACL和细粒度受权,界说受权用户和使用顺序对集群数据的权限。

                可见性:经过地方审计陈诉数据源和数据用法。

                经过引进Sentry,Hadoop现在可在以下方面满意企业和当局用户的RBAC(基于脚色拜访控制)需求:

                平安受权:Sentry可以控制数据拜访,并对已经过验证的用户提供数据拜访特权。

                细粒度拜访控制:Sentry支持细粒度的Hadoop数据和元数据拜访控制。

                基于脚色的办理:Sentry经过基于脚色的受权简化了办理,你可以随便将拜访统一数据集的差别特权级别付与多个组。比方,关于某特定命据集,你可以分派给反敲诈小组检查一切列的特权,给剖析师检查非敏感或非PII(Personally Identifiable Information)列的权限,给数据接纳流拔出新数据到HDFS的权限。

                多租户办理:Sentry容许为委派给差别办理员的差别数据集设置权限。

                一致平台:Sentry为确保数据平安,提供了一个一致平台,运用现有的Hadoop Kerberos完成平安认证。同时,经过Hive或Impala拜访数据时可以运用异样的Sentry协议。

                别的,Cloudera借助Gazzang的数据加密技能,可以完成一切数据的平安。Gazzang提供了块级的加密技能,其产物包罗Hadoop情况下的数据加密产物及拜访权限办理产物,后者可以控制对键值、令牌等数据拜访受权协议的拜访。

                关于志在成为企业数据中枢的Cloudera来说,有了Gazzang的平安技能支持,无疑可以进步其客户对情况平安的决心。除了支持Hadoop情况以外,Gazzang的加密技能还支持Cassandra、MongoDB、CouchBase、Amazon Elastic MapReduce等下一代的数据存储情况。

                Cloudera Enterprise Data Hub自身集成了许多平安特性,此中Cloudera Navigator提供开箱即用的会合式平安性,来确认受权和第三方增设的平安性。

                总之,我们看到Hadoop不论作为一个大数据处置引擎,在数据存储和处置方面的劣势也黑白常分明的。由于Hadoop生来便是为了大范围的数据存储和处置,以是在付与了Hadoop平安性后,Hadoop成为企业数据办理的紧张办理东西,其在企业数据平安办理方面的想象空间黑白常大的。

                持续阅读
                要害词 :
                Hadoop集群 HDFS 容灾
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台