北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > Hadoop > 注释

                拨开SAP与Hadoop集成的迷雾

                2015-07-17 09:59泉源:中国存储网
                导读:Hadoop很火,但终究什么是Hadoop?实践上,它并不是一个详细的软件。Hadoop是Apache软件基金会的一个项目,它包括了多个中心东西,用来处置海量数据以及大型盘算集群。围绕Hadoop,有一个巨大的生态零碎,并且市道市情上也有许多打包好的贸易处理方案,

                Hadoop很火,但终究什么是Hadoop?实践上,它并不是一个详细的软件。Hadoop是Apache软件基金会的一个项目,它包括了多个中心东西,用来处置海量数据以及大型盘算集群。围绕Hadoop,有一个巨大的生态零碎,并且市道市情上也有许多打包好的贸易处理方案,我们通常将其称为Hadoop刊行版(Hadoop Distribution),比方Cloudera、Hortonworks、IBM以及MapR等。每一个刊行版都提供了多种东西的组合,与开源版真相比,贸易刊行版更合适企业级的大数据使用。

                我们要明白一个观点,便是没有一个东西或一套东西可以称为“Hadoop”,以是当厂商向你倾销Hadoop的时分,你要对此提起留意。厂商能够会提供一个或多个Hadoop东西的集成,偶然乃至一个都没有,以是很多用户会对选择Hadoop感触迷惑。本文要引见的SAP便是此中之一,接上去我们就将深化地引见一下SAP的软件是怎样与Hadoop联合的。

                起首,我们来给Hadoop下一个界说。正如上文所提到的,Hadoop包括了一系列的中心东西,即:

                Hadoop散布式文件零碎(HDFS),这是一个散布式的文件零碎,可以运转在大型的集群当中,用来存储海量数据。其他的Hadoop东西都需求从HDFS中调取数据来停止处置。因而HDFS是Hadoop最中心的组件。

                YARN(Yet Another Resource Negotiator)是Hadoop的中心集群资源办理框架。它是Hadoop2.0中最紧张的组件之一,大局部(固然不是全部)的Hadoop生态零碎东西都运转在YARN集群上。

                MapReduce是对海量数据集停止并行处置的零碎,它是在Google一篇论文根底上衍生出来的。固然它是Hadoop最原始的组件,但风趣的是,很多贸易版本提供商并没有间接运用MapReduce。

                下面提到的只是Hadoop中最中心的组件,Hadoop生态零碎中还包罗许多适用东西,有些东西也是Apache软件基金会的项目,也有一些是其他开源项目。上面这些东西都是托管在Apache社区的:

                Hive——我们可以把它视为Hadoop的数据堆栈东西,Hive现实上是一个散布式数据库,它拥无数据界说和盘问言语HQL,它与规范的SQL非常相似。Hive表可以完全由Hive来办理,或许它们也可以在HDFS和HBase等数据源上界说为“内部”表。因而,Hive每每是Hadoop生态零碎的数据存储收支口。

                Pig——它是一个编程言语和实行顺序的平台,用来创立数据剖析项目。

                HBase——这是一个大范围并行的数据库,它也是依据Google BigTable论文衍生而来。

                拨开SAP与Hadoop集成的迷雾

                该图展现了SAP软件产物买通了哪些Hadoop东西,它只表现了数据拜访的途径,并没有深化每一个东西的技能架构

                其他的项目包罗Spark(内存集群盘算和流数据框架),Shark(Hive on Spark),Mahout(剖析算法库),ZooKeeper(会合式信息维护效劳),Cassandra(与HBase相似的数据库产物)。

                那么,SAP的产物怎样与这些Hadoop东西联合?产物的差别,其联合方法也会有所差别。现在为止,SAP在HANA、Sybase IQ、SAP Data Services以及BusinessObjects贸易智能东西中都集成了Hadoop功用,但它们接纳的方法有所区别。

                SAP HANA和Sybase IQ都支持近程Apache Hive零碎的转移盘问,这使得用户在处置Hive数据库表的时分就像是在当地一样。在Sybase IQ中,这一功用称为“近程数据库”,在HANA中则是经过“智能数据拜访(Smart DataAccess)”机制来完成的。Sybase IQ还支持MapReduce API来处置非构造化数据,除此之外,Sybase的数据库与Hadoop之间是无法买通的。

                SAP BusinessObjects BI可以经过Universe的观点来支持Apache Hive形式的拜访,它就像是衔接其他数据库一样。这里需求留意的是,这种衔接实际上是可以经过Hive的内部表观点拜访多种差别的存储零碎的,此中包罗HBase,Cassandra以及MongoDB等。

                下面所提到的SAP与Hadoop的联合只是针对Hive的,而经过HQL与Hive集成是最罕见的,也是大少数厂商集成Hadoop的方法。但这与厂商所描画的Hadoop零碎深度集成是有所差别的。

                SAP数据效劳所做的比Hive集成更多。除了将数据从Hive当中导入导出之外,数据效劳还可以间接创立并读取HDFS文件,同时做一些转换来运用Pig剧本完成一些操纵。也便是说,数据可以间接在Hadoop集群当中停止结合与过滤,而无需再转移到特定的效劳器上停止处置。SAP数据效劳还可以将文本数据处置间接放到Hadoop集群上作为MapReduce义务来停止操纵。以是SAP在Hadoop东西的深度集成方面,有着共同的劣势。

                最初提示一下:Hadoop生态零碎的开展黑白常快的,而企业软件的开展倒是比拟滞后。依据SAP产物的生命周期引见,现在只支持绝对旧版本的Hive、Pig以及HDFS,一些新的功用改良,高可用性以及集群功用是不支持的。企业在停止选型的时分,需求细心阅读厂商的支持文档,看看贸易软件能否支持你想要的Hadoop东西。

                原文链接:http://www.searchdatabase.com.cn/showcontent_82265.htm

                持续阅读
                要害词 :
                Hadoop教程
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台