北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > HBase > 注释

                散布式数据库 Hbase 的高可用办理和监控(一)

                2014-08-07 13:50泉源:中国存储网
                导读:引见 Apache HBase 的根本知识,并睁开引见 IBM 对 HBase 的改良和扩展,HBase Master 多结点高可用支持,以及怎样应用 IBM BigInsights 在 IBM Hadoop 集群中对 HBase 效劳和作业提交停止监控和办理。

                HBase 作为 BigTable 的一个开源完成,随着其使用的遍及,越来越被各大企业使用于海量数据零碎中。本文将向读者扼要引见 Apache HBase 的根本知识,并睁开引见 IBM 对 HBase 的改良和扩展,HBase Master 多结点高可用支持,以及怎样应用 IBM BigInsights 在 IBM Hadoop 集群中对 HBase 效劳和作业提交停止监控和办理。本文将协助读者在大数据云盘算 Hadoop 集群使用中应用 HBase 愈加高效、直观、便捷地停止存储,盘问和优化海量数据。

                Apache HBase 的根本知识

                2006 年 11 月,Google 宣布了一篇名为《 BigTable 》论文 , 2007 年 2 月,Hadoop 的开辟职员对其停止完成并定名为 HBase。 HBase 是基于 Hadoop 之上的一种新型的基于列存储的开源数据存储架构,用于处理大数据题目,是 Hadoop 的散布式数据库。

                HBase 如今曾经比拟成熟,最新的波动版本是 0.94.x。HBase 曾经被许多至公司接纳,如 Facebook, Twitter,Adobe, Cloudera, IBM, 等等。HBase 不是传统 RDBMS 意义上的基于列的数据库,而是应用磁盘停止列存储款式的数据库,其劣势在于提供基于要害字的特定列温顺序范畴的疾速拜访。

                HBase 有三个紧张的组件:客户端库,一个 master server(可以设置装备摆设多个备用 master,后文将对此停止细致描绘)以及多个 Region Server。Master 担任分派 Region 到各个差别的 Region Server 上,Region Server 担任存储实践的数据。同时,HBase 经过运用 ZooKeeper,一种牢靠,高可用,分歧性的散布式协同效劳来协助其完成相应的义务。HBase 集群办理员可以经过在零碎运转进程中添加和删除 Region Server 节点来调理改动任务负载。HBase 以 HFile 作为存储数据的根本款式,其底层的文件零碎默许接纳 HDFS。

                图 1. HBases 根本架构

                 

                散布式数据库 Hbase 的高可用办理和监控(一)

                  HBases 根本架构

                图 1. 表现了差别的组件如 HDFS,Zookeeper 是怎样与 HBase 一同和谐任务的。Master Server 担任处置跨 Region Server 的 regions 数据的导入均衡,卸载忙碌的 Region Server 担负,将 region 转移到更空余的 Region Server 上。

                HBase Master 不担任实践的数据存储,它和谐导入均衡,维护集群的形态,维护 schema 的变动和 metadata 元数据操纵,如创立表和列族(column families),但从不提供任何数据效劳。

                Region servers 担任加载和维护 region,包罗处置对其办理的 region 的一切读写恳求,以及 region 巨细增长到超越设置装备摆设阀值的时分对其停止切分。

                客户端经过与 Zookeeper 通讯获取到其需求停止读写操纵的 region 地点的 Region Server 之后,将间接与 Region Server 通讯,并由 Region Server 处置一切相干的恳求。

                IBM BigInsights 架构中的 HBase

                IBM Big Data(大数据)产物 InfoSphere BigInsights 是大数据办理与剖析平台, 其底层架构也接纳了 Hadoop 和 HBase 对构造化和非构造化数据停止存储和盘问。

                BigInsightsz 集群软件条理中的 HBase

                BigInsights 整合了许多已有的 Hadoop 开源组件,如 HDFS, MapReduce, HBase, Zookeeper 等,将它们很好的融入 BigInsights 软件体系,并与其他 BigInsights 的组件一同协同任务在统一个平台上。 HBase 被用作 BigInsights 的存储数据库,Zookeeper 被用作 BigInsights 的效劳协同组件。假如要运用 HBase, 我们需求同时装置 Hadoop, Zookeeper, 由于 HBase 接纳 Hadoop 作为其文件零碎,接纳 Zookeeper 作为其效劳协同支持。

                当把 BigInsights 摆设到一个集群上时,软件条理的构造如图 2. 所示:

                图 2. BigInsights 中 Hadoop 开源组件列表

                 

                散布式数据库 Hbase 的高可用办理和监控(一)

                BigInsights 中 Hadoop 开源组件列表

                HBase 装置和设置装备摆设

                BigInsights 产物集成了颠末 IBM JDK 编译和肯定改良扩展后的 HBase。在 BigInsights 产物的装置进程中可以经过装置界面选择和设置装备摆设 HBase, 设置装备摆设内容包罗指定 HBase 装置途径,日记目次,指定集群中 HBase Master 和 HBase Regionservers 节点以及效劳端口。HBase 的二进制软件包默许装置和设置装备摆设在 BigInsights 集群的一切节点上,也便是说装置完 BigInsights 当前的每个 BigInsights 节点都可以作为 HBase 的客户端运用。

                在装置 BigInsights 之前,需求从解压当前的根目次下运转 start.sh 剧本,然后在阅读器中输出 URL http://your-server:8300/Install/ 翻开装置导游,装置导游将引领您完成后续的装置步调,装置进程将包罗:装置范例(选择多节点散布式集群装置和设置装备摆设)选择,文件零碎选择,组,用户名及 SSH 设置装备摆设,指定集群节点,组件装置,平安范例选择等,上面给出详细的 HBase 以及 Zookeeper 的装置设置装备摆设实例。

                设置装备摆设内容 设置装备摆设信息

                HBase master servers 指定 HBase Master 的节点名,可以是 IP,也可以是 hostname

                HBase region servers 指定 HBase Regionserver 的节点名,可以是 IP,也可以是 hostname

                Zookeeper mode 可选,有 shared/separate ZooKeeper 装置形式

                HBase root directory 初级设置,默许为 /hbase( 可设置装备摆设 )

                HBase master port 60000( 可设置装备摆设 )

                HBase master UI port 60010( 可设置装备摆设 )

                HBase master server JMX port 10101( 可设置装备摆设 )

                HBase region server port 60020( 可设置装备摆设 )

                HBase region server UI port 60030( 可设置装备摆设 )

                HBase region server JMX port 10102( 可设置装备摆设 )

                图 3. HBase 装置和设置装备摆设

                 

                散布式数据库 Hbase 的高可用办理和监控(一)

                HBase 装置和设置装备摆设

                  图 4. Zookeeper 装置和设置装备摆设

                 

                散布式数据库 Hbase 的高可用办理和监控(一)

                  Zookeeper 装置和设置装备摆设

                最初,当装置完成当前,点击“Finish”或许在背景下令行运转“start.sh shutdown”封闭装置导游。

                IBM 对 HBase 的改良和扩展

                BigInsights 最大限制的提供了一致的,IBM 特有的 HBase 办理功用,包罗用户界面以及背景下令行办理形式。如许,用户可以经过复杂的界面操纵或许背景下令来启停 / 检查 HBase 集群,而不必关怀详细的完成细节。

                与此同时,IBM 还提供了一致的用户界面和添加、删除节点下令来支持 HBase 集群的可伸缩性。

                别的,HBase Master 多结点功用的完成,提供并包管了 HBase 在 BigInsights 中的高可用性。以下将对这些改良和扩展功用停止睁开引见。

                IBM BigInsights 中的 HBase 集群办理和监控

                BigInsights 集群为 HBase 提供了齐备的办理功用,包罗一致的 HBase 用户办理界面,背景下令行办理形式,HBase 效劳形态监控,反省、同步、添加、删除、启动、停用、检查 HBase 效劳,反向署理 UI,检查 HDFS 中的 HBase,HBase 使用顺序提交等。

                Web 界面办理 HBase 效劳形态

                经过 http:// 主节点主机名或 IP:8080/data/html/index.html 进入 BigInsights Web 办理控制台。运用 BigInsights 装置一切模块包罗 Hadoop、Hbase、Zookeeper、Oozie、Flume 等。(留意:假如您运用的是 BigInsights Basic 版本,请运用 http:// 主节点主机名或 IP:8080/BigInsights 翻开控制台。下文截图全部基于 Enterprise 版本,Basic 版本会略有差异。)

                持续阅读
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台