北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > 散布式存储 > 注释

                证券公司基于散布式存储技能的零碎延续性优化探究

                2018-03-05 22:38泉源:中国存储网
                导读:本文从业务延续性角度动手,依据品级维护中备份与规复等要求,针对云盘算根底架构存储关键所面对的危害,对新的散布式存储技能停止积极探究和大胆实验,并构成了合适证券公司的云盘算架构延续性优化方案。

                证券公司基于散布式存储技能的零碎延续性优化探究

                本文选自《买卖技能前沿》第二十五期 (2016年12月)。

                邬晓磊、万寅桦

                (西方证券株式会社,200010)

                摘 要:为应对质券期货业创新以及信息技能的开展趋向,证券公司越来越多的开端将零碎迁徙到云盘算架构中。本文从业务延续性角度动手,依据品级维护中备份与规复等要求,针对云盘算根底架构存储关键所面对的危害,对新的散布式存储技能停止积极探究和大胆实验,并构成了合适证券公司的云盘算架构延续性优化方案。

                要害词:云盘算、业务延续性、散布式存储

                1 概述

                1.1 证券期货业对云盘算的需求

                2011年,证券期货业的创新观点不时涌现。2012年创新大会之后,新型业务部、轻型业务部、非现场开户等创新形式连续失掉羁系部分承认和同意。

                业务创新对质券公司的IT提出了新的要求,比方业务互联网化、分支机构轻型化、疾速摆设、弹性扩容等等。因而越来越多的证券公司适应开展趋向,开端实验假造化和云盘算,并将局部使用零碎迁徙到云盘算架构中。

                1.2 云盘算面对的业务延续性危害

                云盘算技能的运用使企业的IT资源进一步会合,无效的低落了各分支机构的建立速率和维护本钱。但是在云盘算技能带来这些益处的同时,也带来了新的危害。IT资源和数据的会合化,零碎假造化使企业在面临业务延续性题目,遇到了传统IT架构所没有的新题目,肯定水平上能够带来更高的危害。

                在这些控制点中,从更细的方面来看,接纳云盘算架构后,存储零碎将面对十分严厉的应战。和传统架构相比,由于云盘算架构中少量的假造零碎和数据会合存储,一旦存储零碎呈现毛病,会影响少量的假造主机和使用零碎。别的,云盘算情况中存储零碎的I/O也能够会成为零碎的瓶颈。

                2 云盘算中传统会合式存储的缺乏

                2.1 会合式存储零碎的可用性危害

                假造化是云盘算的技能根底中紧张的一环,它能无效地添加物理效劳器的资源应用率,低落运营本钱,增加维护和进步IT施行的弹性。但是随之而来,是危害高度会合化,关于证券行业来说,单节点呈现毛病形成少量业务零碎中缀是不行承受的。怎样在高效便捷和低危害中寻觅均衡点,将RTO和RPO控制在公道范畴之内,也是云盘算平安的紧张一环。

                上图是典范的假造化平台底层硬件架构平台,从图中可以看到如许的架构体系有肯定的冗余机制,但并不美满,次要从如下几点作剖析:

                1) 存储单点毛病危害:这是整个根底架构中最紧张的一环,但每每由于设置装备摆设较为昂贵,且存储的强健性较高,因而普通架构都运用一台共享存储。在极度状况下,存储不行用将招致整个平台解体。

                2) 主机毛病招致使用中缀:现在主机间会设置装备摆设HA,确保某台主机不行用时其上运转的假造性能迁徙至其他主机停止托管,但在迁徙进程中,假造机将会阅历一次重启,若无效劳自启动剧本,整个使用将会中缀。

                2.2 会合式存储零碎的I/O题目

                假造机技能给效劳器带来更高的应用率、给业务带来更便捷的摆设,低落了TCO,因此在浩繁行业失掉了普遍的使用。与此同时,假造机使用给存储带来以下应战:

                1) 相比传统的物理效劳器方法,单个存储零碎承载了更多的业务,存储零碎需求更微弱的功能来支持;

                2) 接纳共享存储方法摆设假造机,单个卷上能够承载几十或上百的假造机,招致卷IO出现更多的随机特性,这对传统的Cache技能提出应战;

                3) 单个卷承载多个假造机业务,要求存储零碎具有和谐假造机拜访竞争,包管对QoS要求高的假造机获取到资源完成功能目的;

                4) 单个卷上承载较多的假造机,需求卷具有很高的IO功能,这对传统受限于牢固硬盘的RAID技能提出应战;

                2.3 会合式存储零碎的扩展才能

                会合存储零碎的另一个题目是扩展才能的缺乏。固然在传统的会合式存储零碎运用进程中,假如呈现容量缺乏的状况下,有能够可以选择停止Scale up(纵向扩展)。但是这存在一个题目:

                1) 这种纵向扩展是有下限,无法支持以后未知的大范围数据;

                2) 这种纵向扩展比拟庞大,需求专业的技能职员停止操纵,且摆设进程较慢;

                3) 这种纵向扩展的价钱会变的十分高;

                更好的处理方案是Scale out(横向扩展),即经过多台盘算机来完成散布式存储,把数据疏散到多台呆板上存储。这便是将要引见的散布式存储技能。

                3 散布式存储零碎设计思绪

                针对云盘算情况中会合式存储零碎存在的这些危害点和缺乏,越来越多的企业开端接纳散布式存储技能来低落危害、进步功能,同时让零碎具有精良的扩展才能。

                散布式存储零碎的根本思绪是经过将数据把数据疏散到多台呆板上存储,同时可以统筹功能、扩展性、牢靠性、以及可用性等题目。

                3.1 数据拜访

                散布式存储对用户应该是通明的,即散布式存储零碎对用户来说是一个全体。当使用顺序需求对数据读写该怎样停止呢?复杂来说是运用一台(或多台)效劳器记载各个数据的地位信息,然后当顺序需求数据的时分,先到效劳器这儿来查找数据在哪儿,失掉地位信息后,然后顺序再到相应地位去读或许修正数据。以Google的GFS为例。Google的主节点叫master,存储数据的节点叫chunkserver。主节点上保管了整个散布式存储的构造和元数据,数据节点上则保管着少量的数据。

                3.2 节点生效

                首节点生效将被当作是正常状况,而不再视为非常状况。散布式零碎普通由较便宜的平凡呆板构成。这些节点的质量和数目都实践上都决议了节点生效的能够性较高。因而,继续监督,错误检测,容错处置,主动规复必需集成到这个文件零碎的设计中来。

                处理生效的题目便是数据冗余,即对数据做多个备份。在GFS中每一个文件都拆成牢固巨细的块。每一个块都由主节点依据块创立的工夫发生一个全局独一的当前不会改动的标记。数据节点在当地磁盘上用 Linux文件零碎保管这些块和读写这些块的数据。在GFS中可以经过设置装备摆设文件设置备份的数目,默许为3,也业界普通以为较为牢靠的备份数量;

                数据节点生效是由主节点来停止的,称为心跳检测,也便是主节点周期性的去检测数据节点的无效性,假如检测不到心跳,主节点就去寻觅新的节点替换,然后将数据重新散布到其他节点上。主节点除了上述功用外,还担任整个集群的负载平衡。

                3.3 分歧性

                在GFS中,当对数据停止更新时,仅当3个备份的数据都更新乐成时,才以为数据保管乐成。GFS上存储的数据块正本,在物理上以一个当地的Linux操纵零碎的文件方式存储,每一个数据块再分别为64KB的子块,每个子快有一个32位的校验和,读数据时会反省校验和以包管运用的不是生效的数据,别的在主节点上存有每个数据块的校验和,GFS客户端在读取完数据之后会将所读取的数据块的校验与主节点上的校验和停止比照,以验证数据的无效性。

                3.4 扩展性

                精良的扩展性是散布式存储零碎盼望处理的题目。在散布式存储零碎中当存储容量不敷时,间接添加新的节点就可以。当参加一个新的数据节点时,新节点会向主节点发送一个信息,主节点会给新添加的节点分派一个ID,并可以选择停止数据重散布。

                4 实践使用和效益

                现在市场上有许多开源的散布式存储零碎。开源软件固然运用中没有软件推销本钱,但是在摆设、运用和运维中,对运维团队的技能才能、团队范围都有比拟高的要求。

                除了开源零碎外,现在市场上另有贸易化的零碎。在散布式存储零碎实践使用的进程中,我们思索了综分解本和危害后,将眼光会合在贸易化零碎上。颠末严厉的测试,终极选择了某品牌的散布式存储和交融盘算零碎(以下简称A零碎)用于我公司的云盘算假造化使用场景。

                4.1 零碎扼要引见

                A零碎是盘算和存储一体的交融式架构处理方案,经过A零碎假造盘算平台将当地存储资源整合为一个一致的散布式平台并提供假造化情况运用。

                A零碎的处理方案是经过绑定软硬件一体的方法,在一个机箱中整合了2个节点或许4个节点。每个节点上都运转规范的假造化平台软件(VMware vSphere、KVM、Hyper-V)和一个A零碎控制假造机(Controller VM,简称CVM)。CVM是一个运转A零碎散布式集群软件的假造机,而且为当地假造化平台软件和其上一切假造机提供IO操纵效劳。CVM经过Hypervisor提供的Passthrough功用办理节点当地一切磁盘。

                多个A零碎节点可以构成一个一致的散布式平台,成为A零碎散布式文件零碎(NDFS)。假造化软件将NDFS作为一个会合存储停止办理,一切的IO操纵都将由当地节点上的A零碎 CVM接收,以提供更好的功能。

                下图表现的是A零碎散布式零碎逻辑表示图:

                元数据(Metadata)是一个文件零碎的中心,乃至是至关紧张的。在NDFS中,运用了一些要害技能来确保:数据在100%工夫内都是可用的(即“强分歧性”),而且包管NDFS扩展到超大范围数据量时仍然牢靠。NDFS运用一种“环状”的Key-Value构造的散布式数据库来保管元数据。为了确保元数据的可用性和冗余度,也异样引入了复制因子(RF)。

                一旦一条Metadata记载被写或许更新后,这条记载将同时写到“环”中的另一个节点,然后被复制到n个其他节点(n决议与集群的巨细)。集群中大少数(majority)节点必需赞同才干commit一条记载,这便是强分歧性的Paxos 算法。这确保了A零碎平台数据的“强分歧性”。

                下图表现了在一个4节点集群中,元数据的拔出和更新操纵:

                关于NDFS的元数据数据库,扩展性也是至关紧张的。与传统的“双控”和主备形式差别,每个A零碎节点只担任整个集群元数据中的一局部。这种方法消弭了传统的瓶颈题目,而且容许元数据被集群中一切节点配合维护。而且运用“分歧性散列算法(Consistent Hashing )”来包管当节点数目变革时,需求被remapping的元数据量最少。

                当节点数目从4添加到8个时,新节点将被拔出到环中各个老节点之间,运用相似的block感知才能提供牢靠性,下图表现了环被扩展时的状况:

                4.2 测试和使用状况

                在测试阶段,我们对该零碎停止了如下测试:

                1) I/O才能基准测试

                2) 假造化软件功用验证

                3) 零碎的牢靠性测试

                4) 实践使用测试

                经过零碎波动性测试和使用测试,我们以为该零碎技能较为成熟,可以满意证券网上买卖、互联网金融以及其他一些券商使用零碎的运用需求。

                现在,该零碎使用于我公司“西方云”云平台以及IDC效劳器假造化场景,辨别摆设于我公司主机房及IDC机房。我公司的云盘算架构从较传统的会合式存储方法,逐步演化为盘算存储交融的散布式架构,进步零碎的全体可用性,并低落零碎的综合运用本钱。

                4.3 特性和效益

                我们以为该零碎为西方证券带来了以下精良的特性:

                更高的功能

                在一个2U4节点的集群中可提供85866/39881的读/写IOPS,提供3374Mbps/1545Mbps的读/写带宽

                运用一个2U4节点的设置装备摆设可以替换现有30-40台效劳器的盘算和存储资源。

                空间劣势

                一个2U4节点的设置装备摆设可以替换现有30-40台效劳器,极大进步了客户数据中央的空间应用率,低落了机房空间本钱。

                省电劣势

                2U空间内4台刀片设置装备摆设,最大功耗却只要1450瓦,耗电量只要相反盘算和存储才能传统形式下设置装备摆设功耗的1/9。因而,前期运营的本钱将大大低落。

                高可用性

                散布式文件零碎是一个高度可用的横向扩展型零碎,不存在单点毛病题目。经过散布式文件零碎,数据辨别存储于节点内的各个硬盘以进步功能,并在集群范畴内停止复制以便进步其可用性。因而,即便硬盘或整个节点呈现毛病,也可以包管假造机可用。

                易于办理摆设

                易于摆设,该集群是一种即插即用的处理方案,此中含有运转少量假造效劳器或假造桌面所需的全部硬件和软件。办理员可以在十几分钟工夫内将其设置终了,并开端创立假造机。

                面向假造化情况的跨平台根底架构,无论客户选择哪种主流假造化软件亦或是混淆情况,都可以赐与业界独占的具有相反功用和功能的支持和保证。真正做到下一代数据中央所需求的软件界说准绳。

                高扩展性

                新增节点可以在几分钟外部署终了参加集群。完成按需购置和运用。

                横向扩展型交融存储架构无须办理庞大的网络存储根底设备,可轻松办理恣意范围的假造情况。

                冲破传统架构铲车式的晋级毛病,后期型号设置装备摆设都可以无缝整合到现有体系架构中,做到相似Google等互联网超等数据中央一样的Scale-out扩展才能,极大维护了现有的设置装备摆设投资。

                5 总结

                经过对散布式存储技能和零碎的学习、研讨、测试和摆设使用,优化了本文扫尾所提到的云盘算中传统会合式存储架构所存在的缺乏和危害点。

                1. 经过散布式、多份复制的存储方法,进步了零碎的可用性。

                2. 经过当地化交融盘算,SSD、HDD多级存储,优化了存储零碎的I/O。

                3. 经过散布式架构的特性和数据重散布功用,使零碎具有横向扩展才能,进步零碎可扩展性。

                但是,固然散布式存储技能拥有以上诸多长处,现在在互联网企业中也运用较为普遍,但该技能仍处于高速开展阶段,在证券公司中依然属于较新的技能。其在处理原有题目的同时,也会带来一些新在题目或危害点。我们在实践使用中也将进一步验证其技能成熟度,使其更好的为证券公司技能创新效劳。

                作者简介

                1. 邬晓磊,西方证券零碎运转总部信息平安总监,CISSP、CISP、CISA。

                2. 万寅桦,西方证券零碎运转总部零碎初级工程师,RHCE。

                参考文献

                [1] 证券期货业信息零碎平安品级维护根本要求

                [2] 证券期货业信息零碎平安品级维护测评要求

                [3] Nancy Lynch and Seth Gilbert, “Brewer's conjecture and the feasibility of consistent, available, partition-tolerant web services”, ACM SIGACT News, Volume 33 Issue 2 (2002), pg. 51-59.

                [4] “Brewer's CAP Theorem”, julianbrowne.com, Retrieved 02-Mar-2010

                [5] CAP实际十二年回忆:"规矩"变了

                [6] “Brewers CAP theorem on distributed systems”, royans.net

                [7] The Google File System, Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung

                持续阅读
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台