北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > 散布式存储 > 注释

                新的工具存储协议能够意味着POSIX的闭幕

                2020-10-26 18:06泉源:中国存储网
                导读:如今,工具存储具有相似于POSIX的mmap功用。这意味着POSIX的处置和可伸缩性限定成为新的瓶颈。

                自30年前公布以来,POSIX不断是基于Unix的零碎(包罗Linux)的规范文件零碎接口。它在处置用户地点空间或内存中的数据方面的有效性已付与POSIX兼容文件零碎并在需求少量数据处置的使用(如深度学习)中存储了下令。比方,与POSIX兼容的Luster文件零碎为大少数超等盘算机提供了动力,而POSIX的主导位置也持续在市场中下滑。

                虽然POSIX有其范围性,但随着I / O恳求数目的添加和数据范围的扩展,形态性,规则性元数据和强分歧性等功用成为功能瓶颈,从而限定了POSIX兼容零碎的可伸缩性。现在,这在深度学习,人工智能和其他数据麋集型用处中通常是一个题目,但是随着数据和对其停止指数剖析的需求呈指数增长,随着工夫的流逝,该题目逐步向市场转移。

                输出工具存储。与文件零碎差别,工具存储不需求分层数据构造。它是一个一致的数据池,每个数据都由其元数据界说。它没有可伸缩性限定,十分合适高端存储和使用顺序,但是它具有POSIX没有的一特性能限定:数据恳求必需经过POSIX文件零碎货仓。POSIX经过mmap()函数处理了这个题目,该函数运用户空间成为操纵零碎和存储之间的中介。

                近来,包罗临时企业存储论坛奉献者亨利·纽曼(Henry Newman)在内的一些工程师经过创立mmap_obj()来应用POSIX的这一劣势,该函数使工具存储零碎可以处置内存中的数据。有了工具存储的可伸缩性(和较低的本钱),这一打破能够意味着POSIX在盘算麋集型情况中的主导位置将闭幕。

                POSIX,满意工具存储

                虽然POSIX是在差别操纵零碎之间传输使用顺序的有效办法,但是它没有可扩展性来满意最苛刻的使用顺序,而且其速率随着需求的添加而降落。

                然后,拜访文件零碎存储中的数据成为一个应战,特殊是关于具有少量数据和功能需求的构造。工具存储是一种较新的数据存储方式,可以保管任何外形的数据(称为工具)。希捷于1999年开端开辟,局部是基于RAID创造者Garth Gibson等人的先前任务。

                工具存储是三种存储方法(文件和块的存储方法)中最具扩展性的,由于它容许以任何方式存储和拜访少量数据。数据存储在一致池中,而且可以经过每个数据工具的元数据停止办理。但是恳求存储的工具数据需求额定的处置工夫,由于恳求必需经过内核或操纵零碎。

                工具存储黑白常大的数据存储的抱负选择,而且已普遍用于云盘算中,但是到现在为止,POSIX具有一个长处:mmap()协议容许在用户地点空间中处置数据,而无需经过内核,这依然是一个瓶颈,多年来功能简直没有改进。

                运用mmap_obj()不再具有劣势,如今工具存储也可以处置用户空间中的数据。这关于NVMeOF框架尤其紧张-拥有可以有限扩展的立体存储池,而且具有处置高功能内存中数据的才能,工具存储如今有能够使POSIX文件零碎过期。

                随着存储零碎中的文件超越数十亿个,POSIX可伸缩性和功能限定能够意味着工具存储成为首选,由于它具有处置用户空间中数据的才能。在谁人级别上,POSIX的I / O和可伸缩性限定将成为瓶颈。

                NVMeOF和mmap改动了游戏

                虽然中介顺序(比方S3文件零碎接口)很有效,但它们仍需求在寄存在工具存储零碎中之前或之后由POSIX使用顺序处置数据。

                但是,假如有一种更快,更可扩展的办法来拜访工具存储中的数据呢?

                面料上的非易失性内存Express(NVMeOF)是一种绝对较新的技能,此中面料术语“网络构造”是指网络构造,衔接到盘算机网络的设置装备摆设容许将数据传输到该设置装备摆设中,比方SSD。运用内存映射将工具数据复制到设置装备摆设中意味着一切数据都在设置装备摆设上而不是在POSIX中暂时存储和处置。SSD或其他内部设置装备摆设具有更多可用的盘算空间。内部设置装备摆设(该盘算机的辅佐存储的一种方式)间接衔接到盘算机零碎,而且CPU拥有一条通往设置装备摆设中数据的途径:衔接后简直可用作主存储器。内存在盘算进程中停顿在SSD中,自动拜访数据(尤其是元数据)的速率变得更快。在工具存储和数据处置方面不断寻求低耽误。借助NVMeOF,它将变得随时可用。

                NVMe(原始版本)运用闪存衔接(比方驱动器)使数据可用于SSD。但是NVMeOF使该数据可用于整个网络。NVMeOF不只可以处置衔接到盘算机的设置装备摆设中的数据,还可以运用户经过网络拜访内存。数据中央和数据湖中的工具存储和NVMeOF意味着比曩昔已知的更高的盘算才能。数据湖是原始的,非构造化数据的存储库。将工具存储(而不是文件存储)用于数据湖将使数据剖析师更轻松地办理和剖析数据。运用内存映射和NVMeOF疾速拜访它可以提供更高程度的高功能盘算。

                NVMeOF还可以为数据中央提供更高的盘算才能。Google,IBM和Amazon Web Services曾经在运用基于云的工具存储。以后,拜访数据中央中的工具存储的数据需求使用顺序接口(API)以及输出和输入下令。经过将NVMeOF与内存映射一同运用,数据中央可以绕过运用效劳器的操纵零碎(经过内核)来处置数据。也不需求两头接口。数据中央可以将工具存储的数据间接带入内存停止处置。

                经过为使用顺序运用REST接口,可以与工具存储一同完全疏忽对POSIX接口的需求。

                NVMeOF和内存映射技能与工具存储共同运用,将改动数据中央,数据湖和团体处置数据的方法。网络盘算才能和速率将飞速增长。虽然这能够有其范围性(比方将文件和块存储中的数据传输到工具存储中),但这将意味着数据麋集型盘算的新开展。在数据中央和云根底架构必需疾速扩展以满意数据存储和处置需求的期间,经过内存映射拜访工具存储能够是减速数据中央功能的无与伦比的方法。

                mmap_obj()开辟职员留意到,仍需求完成一项任务:相似于POSIX函数,需求有一个munmap_obj()函数从用户空间开释数据。

                本文翻译自:enterprisestorage

                持续阅读
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台