北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > 环球超等盘算机排行榜 > 注释

                应用节点上的非易失性RAM处理HPC的内存和I/O瓶颈

                2019-11-11 02:54泉源:中国存储网
                导读:HPC迷信模仿每次运转通常会天生TB级(乃至PB级)的数据。

                节点非易失性内存(NVRAM)是一项改动游戏规矩的技能,可以消弭很多I / O和内存瓶颈,并为百亿亿次存储提供要害的推进力。

                应用节点上的非易失性RAM处理HPC的内存和I/O瓶颈

                这是欧洲NEXTGenIO项目标迷信家和研讨职员得出的结论,该项目是由欧洲委员会的Horizon 2020方案赞助的一项方案,旨在探究这项新技能对高功能盘算(HPC)的潜伏影响。

                “当您在盘算节点中安排少量的高功能,字节可寻址的NVRAM时,统统都市发作变革,” EPCC初级研讨员,爱丁堡大学超等盘算中央以及34位软件架构师的艾德里安·杰克逊(Adrian Jackson)说。 NEXTGenIO协作同伴构造配合开辟的节点原型平台,以支持其研讨。“盘算节点既是存储节点,又是存储节点,您可以扩展I / O带宽并以差别方法运用I / O。您需求准确的东西来拜访节点内的数据,但是您可以依据使用顺序以差别的方法运用数据。”

                关于像Tiago Quintino如许的HPC用户来说,这是令人高兴的,他在欧洲中型气候预告中央(ECMWF)处置少量,疾速增长的数据集。他说:“我们可以做的更多。” “我们可以在内存中拥有更庞大的构造。我们可以在任何中央运用数据,而不用在整个任务流程中挪动数据。随着我们节流工夫,我们可以运转更庞大的任务流程,停止更多的物理任务,进步模子辨别率。依据我们的数据增长(每两年增长三倍)来推测,基于此技能的I / O零碎将使我顺应将来的10-15年。它是改动游戏规矩的人。

                探究非易失性节点上的内存

                除EPCC和ECMWF外,NEXTGenIO的协作同伴还包罗富士通,英特尔,巴塞罗那超等盘算中央(BSC),德累斯顿产业大学,ARM和ARCTUR。他们配合设计的平台遵照需求驱动的流程,该流程还规则了理想的束缚条件。它具有一个定制的主板,该主板装有3 TB的Intel Optane DC永世内存(DCPMM),双第二代Intel Xeon可扩展处置器和192 GB的DRAM。Intel Optane DC内存作为驻留在内存总线上的规范DIMM托管,而且可以由CPU的集成内存控制器控制。节点还衔接到两个Intel Omni-Path高功能网络,从而使MPI流量可以经过一个网络传达,而存储通讯可以跨另一个网络传达。

                为该零碎开辟的软件包罗一个多节点,当地和散布式NVRAM文件零碎,使旧使用顺序可以通明地受害于新的内存/存储层,而无需变动使用顺序。散布式文件零碎运用使用顺序工具存储来提供数据部分性并增加对并行文件零碎(比方Lustre)的依赖。其他零碎软件包罗功能剖析和调试东西,以及SLURM方案顺序和任务负载办理器的扩展,用于办理数据部分性并将任务的能耗归入任务安顿决议计划中。

                富士通在其位于德国奥格斯堡的工场制造了该零碎和主板,该零碎于2019年3月下旬在EPCC装置。在将来三年内,NEXTGenIO协作者和精选I / O研讨职员将可以运用该零碎,这为欧洲提供了次要资源增长对紧张的新存储技能的了解和运用。

                项目成员已开端共享开端后果,以证明该技能对种种HPC用例的影响。[1]这是三个例子。

                ECMWF的集成预测零碎:工夫紧急的任务流中的弱小I / O

                ECMWF总部位于英国,每天为环球客户提供五到十五天,每天屡次的气候预告。其综合预测零碎(IFS)将其后果(每小时约25 TB)写入ECMWF的散布式字段数据库(FDB)。后续任务流程触及数百个后处置步调,此中很多步调是并行停止的,需求疾速拜访数据输入。假如地方并行文件零碎因其他任务负载而减慢了速率,则预测职员必需限定预测并减慢模子的速率。

                运用NEXTGenIO平台,ECMWF展现了将数据输入到新型内存并明显进步功能的才能。为了将IFS写入ECMWF的字段数据库,在具有288个Lustre Object的零碎上,16个NEXTGenIO节点提供了60 GiB / s的读取带宽和72 GiB / s的写入带宽,而继续读取吞吐量为22.4 GiB / s,写入吞吐量为20 GiB / s。存储效劳(OST)节点,每个节点具有10个磁盘。它在任务流程中完成了端到真个改良,幅度超越了一个数目级。ECMWF希冀在优化FDB代码时看到进一步的改良。

                CASTEP:内存需求量大,I / O最少

                CASTEP是共享源软件,运用密度泛函实际从第一原理盘算资料特性。它用于多种资料和物质,包罗DNA以及新颖的外来元素。

                很多CASTEP仿真每个MPI历程都需求少量内存,超越了典范HPC零碎的内存容量。这通常迫运用户增加每个节点的MPI历程数目,使CPU缺乏,并在很多节点上运转仿真,以使仿真合适DRAM。

                EPCC运用CASTEP在NEXTGenIO平台上运转需求少量内存的DNA仿真,从而使仅运用DRAM的单个DNA仿真仅需求在单个节点上运转就需求20个节点,虽然速率要慢得多。在四个节点(表1)上,DCPMM的完成运用的工夫增加了五倍,而实行速率却比NEXTGenIO零碎上的全DRAM实行速率慢了三倍。

                表1. CASTEP基准测试后果

                应用节点上的非易失性RAM处理HPC的内存和I/O瓶颈

                实践意义是宏大的,它为HPC站点提供了经济且省电的处理方案,即便关于内存需求凌驾盘算需求的任务负载摆设全DRAM平台的替换方案也要慢一些。开释的节点可以用于其他作业,从而优化全体吞吐量并添加本钱劣势。

                OpenFOAM:具有少量小文件的沉重I / O

                OpenFOAM是一个开源3D盘算流体动力学软件包,实践上是从网格创立到后处置的庞大义务任务流中运用的使用顺序的聚集。

                这里的应战不只是数据的总量,并且是每个工夫步写入的少量小文件。为了讨论这个题目,EPCC模仿了小型电动飞机四周的气流。在1000个工夫步中,OpenFOAM被设置装备摆设为每五个工夫步写入其后果。在16个节点上运转448个历程,中期后果到达806,400个文件和1.2 TB的数据。功能剖析标明,在传统的完成中,I / O耗费了50%的实行工夫,从而严峻限定了可伸缩性。

                EPCC运用零碎软件将节点当地文件零碎无效地装置在盘算节点的Intel Optane DC内存上。运用DCPMM作为存储,并使零碎软件依据需求将数据移入或移出节点,然后将暂时后果写入当地节点。这将全体运转工夫增加了多达50%,而且劣势随着范围的添加而添加。这些节流的运转工夫为您提供了停止更多盘算和探究更多处理方案的时机。

                晚期接纳者的见地

                NEXTGenIO协作者为HPC用户和技能创新者提供了以下发起。

                • 换个角度考虑。Quintino说:“不要像判别Lustre如许的并行文件零碎那样来判别这项技能。” “卢斯特(Lustre)就像一辆卡车,它在迟缓挪动少量数据。给定少量卡车,您可以挪动少量数据并具有少量吞吐量。这是一级方程式赛车,是I / O零碎的顶峰之作。它可以是分层零碎中的第一层,也可以是突发缓冲区,但是我们应该进一步思索。它翻开了我们从未想过的任务流程。”
                • 坚持猎奇心。思索一下哪些用例与您的任务负载和数据中央应战有关。“在ECMWF,DCPMM是存储条理构造的一局部,” Jackson说。“其他使用顺序可以将其用作文件存储,也可以用作运用内存实行惯例并行I / O的多节点文件零碎。有些人正在运用它来创立更大的内存空间,因而他们可以将题目放在单个节点上,而不是20或30个节点上。应用DCPMM需求对使用顺序停止仔细的考虑和设计,但是益处能够很大。”
                • 情愿做一些任务。Quintino将Intel Optane DC永世内存与GPU停止了比拟,后者需求停止一些代码修正才干完全受害。虽然可以间接运用DCPMM,而无需修正代码,但是很多使用顺序将从显式控制内存中受害。英特尔提供东西和库,以方便运用内存的全部功用集。

                一种做更多迷信的办法                 

                NEXTGenIO平台将供研讨目的与NEXTGenIO项目标研讨目的兼容的HPC用户运用。富士通为某些PRIMERGY和PRIMEQUEST型号提供了新的存储种别,其技能团队在与客户协商时正在运用其NEXTGenIO知识。

                EPCC资深研讨员兼NEXTGenIO项目司理MichèleWeiland表现,英特尔Optane DC永世内存和NEXTGenIO协作同伴添加的创新标记着HPC范畴的可喜变革。她说:“ ??DCPMM代表了内存,I / O和存储零碎在将来几年内将怎样开展的格式变革。” “它能够标明我们现在看不到的题目另有处理的方法。关于在以后的传统HPC零碎中苦苦挣扎,没有充足的内存或充足快的存储空间或受可写数据量限定的人来说,这种办法能够会为他们提供一种改进办法,并做更多的事变迷信。”

                要理解有关NEXTGenIO项目标更多信息,请拜访http://nextgenio.eu

                有关拜访该平台的信息,请联络Mark Parsons传授,m.parsons @ epcc.ed.ac.uk或MichèleWeiland博士,m.weiland @ epcc.ed.ac.uk

                关于作者 

                Jan Rowell

                持续阅读
                要害词 :
                RAM HPC
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台