北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > 乐成案例 > 注释

                河南挪动的MPP大数据平台工具存储理论

                2020-01-16 09:59泉源:中国存储网
                导读:应用大数据对DPI(Deep Packet Inspection,基于数据包的深度检测)等数据停止剖析,可获取客户的举动偏好,完成客户精准营销。

                电信与媒体市场调研公司Informa Telecoms & Media的观察后果表现,早在2013年,环球120家运营商中约有48%的运营商正在施行大数据业务。大数据业务本钱均匀占到运营商总IT预算的10%,而且在将来五年内将升至23%左右。

                河南挪动的MPP大数据平台工具存储理论

                电信运营商在运营效劳中积聚了少量数据,既包罗日记、账单、信令等构造化和半构造化数据,也会触及到图片、文本、音频、视频等非构造化数据。据不完全统计,一个省一天的运营商数据量可到达PB级。

                而经过对海量数据资源的发掘,可支持运营商疾速呼应需求,完成矫捷运营,以及推进数字化转型。比方,应用大数据对DPI(Deep Packet Inspection,基于数据包的深度检测)等数据停止剖析,可获取客户的举动偏好,完成客户精准营销。

                01河南挪动的理论

                据媒体报道,早在2018年7月,河南挪动4G用户数目已打破4000万,在河南运营商市场处于抢先位置。与此同时,其家庭宽带客户靠近900万,建立4G基站10万个;物联网衔接数靠近2000万(旧事链接:http://news.dahe.cn/2018/07-03/336954.html ); 2019年,河南挪动片面启动了5G建立。

                为了愈加精密化大数据运营,办理和监控网络流量数据,河南挪动摆设了一致DPI零碎完成海量日记数据处置,包罗支持团体和省层面的网络运转、企业信息、市场营销、网信平安、特别通讯等五大类使用,如挪动感知剖析、挪动上彀日记保存、信息推送、流量轨迹盘问、IDC/ISP信安零碎等。

                河南挪动的MPP大数据平台工具存储理论

                一致DPI零碎

                在该业务的数据处置上,客户过来接纳MR+HiveSQL+HDFS+Flum传统架构停止支持。这一处理方案招致:在使用端,无法完成多种数据交融剖析,多并发才能缺乏盘问服从不高;在存储端,盘算存储紧耦合不敷弹性,呈现存储拜访瓶颈,无法支持海量数据的按需扩展;以及更庞大的运维,更高的建立本钱,逐步难以满意海量日记剖析的需求。

                为理解决上述题目,客户在数据共享层接纳了HashData+XEOS+gdfdists新架构,为客户提供云原生数据堆栈处理方案,绝对于原Hadoop方案,可增加60%的集群硬件和70%的运维投入。

                河南挪动的MPP大数据平台工具存储理论

                数据共享层处理方案

                1、AAA剖析模块:承受Radius原始流量剖析后发送至HashData平台;

                2、Web效劳器:担任战略天生、战略下发、数据后果展示;

                3、HashData:数据导入、数据洗濯、数据盘问和数据分发(数据天生与Td上报顺序);

                4、XEOS:对接HashData平台,海量日记数据存储。

                在新的处理方案中,XEOS替换原先HDFS完成PB级数据在线办理,同时提供冷热数据分层、索引数据多正本、日记数据接纳纠删码(EC纠删码12+3,得盘率80%)等战略,保证全体方案的更优性价比。现在,客户已推销1.5PB存储容量…

                02现有的数据使用题目

                明天,企业数据呈指数级增长,基于海量数据的剖析、发掘数据代价成为运营商和企业用户的常态化选择。但是数据情况的诸多变革,驱动了数据使用的新需求发生:

                1、全量数据处置:一致零碎内处置表里部的海量数据,数据范例庞大如构造化数据、半构造化数据;

                2、高并发呼应:更多部分、脚色乃至呆板到场到数据拜访中,静态的支持高并发呼应;

                3、多维及时剖析:将各维度的数据联系关系停止数据剖析发掘,没有少量工夫做预处置,裸数据及时呼应;

                4、跨平台拜访:数据拜访情况差别,私有云、公有云以及混淆云等多种场景下,跨平台数据灵敏拜访;

                5、云技能交融:大数据和云盘算技能飞速开展,怎样充沛应用云的劣势让数据发扬更大代价亟待处理。

                面临数据使用的上述新需求,现有的处理方案面对着以下题目:

                1、共享存储数据堆栈

                ▪ 扩展性差

                ▪ 存储拜访瓶颈

                ▪ 无法支持海量数据

                ▪ 一体机价钱昂贵

                2、MPP数据堆栈

                ▪ 无法支持多种数据范例

                ▪ 大数据量功能级波动性降落

                ▪ 扩容数据重散布难度大进程冗长

                ▪ 无法公道计划以及灵敏应用存储和盘算资源

                ▪ 无法支持高并发

                3、Hadoop及NoSQL方案

                ▪ 不完全支持SQL

                ▪ 盘算存储紧耦合不敷弹性

                ▪ 设置装备摆设、调优、办理、维护庞大

                ▪ 学习本钱高、学习曲线峻峭

                ▪ 服从低下,高并发才能无限

                ▪ 盘问功能不波动,影响要素多

                03存算别离的云原生数仓

                鉴于此,HashData(酷克数据)研发设计了新一代云原生数据堆栈架构。HashData企业级云数据堆栈是一个高功能、完全托管的PB级数据堆栈效劳,交融MPP高效引擎、云盘算的弹性以及大数据平台综合数据处置才能三方特性。片面兼容PostgreSQL协议以及SQL 2008语法规范,对外提供规范的JDBC和ODBC接口,无缝集成主流ETL和BI东西。

                河南挪动的MPP大数据平台工具存储理论

                新一代云原生数据堆栈架构具有以下特点:

                ▪ 元数据、盘算和存储三者别离;

                ▪ SQL on 工具存储;

                ▪ 按需静态程度扩容;

                ▪ 支持跨数据中央和云平台数据拜访;

                ▪ 毫秒级呼应海量数据交互式盘问及多维剖析;

                ▪ 高可用架构以及灵敏数据正本战略;

                ▪ 无缝对接Oracle、MySQL、DB2、MongoDB等以及主流BI产物。

                在基于云原生的盘算和存储别离数据堆栈方案构建中,独立扩展的盘算和存储愈加灵敏,同时可明显低落本钱。HashData与XSKY树立了协作同伴干系,应用XSKY XEOS工具存储与HashData企业级云数据堆栈构成一致处理方案,并具有以下劣势:

                ▪ 盘算存储别离摆设,按需扩容,大幅低落TCO;

                ▪ 愈加优化的功能,以及企业级存储特性;

                ▪ 实用于大数据平台的容灾备份;

                ▪ 全体方案功能愈加波动,易交付易维护,简化任务流程大幅延长交付周期。

                 

                 

                 

                 

                 

                持续阅读
                要害词 :
                工具存储
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台