北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > 人工智能 > 注释

                科研:IBM将PCM置于超维盘算的中心

                2020-10-11 21:00泉源:中国存储网
                导读:该研讨运用超维盘算算法不只简化了推理,并且简化了训练。该办法克制了神经网络的敏理性,大大简化了训练。

                PCM专家Ron Neale探究了怎样运用PCM来使AI和ML使用受害。虽然AI是The Memory Guy博客的新功用,但存储芯片与某些AI使用(尤其是神经网络)之间有着惊人的类似性。 

                Neale在这篇文章中研讨了IBM在Nature Electronics上宣布的最新研讨效果,该研讨运用超维盘算算法不只简化了推理,并且简化了训练。该办法克制了神经网络的敏理性,大大简化了训练,同时经过仅一次写入内存来消弭磨损题目,即便内存巨细很小。

                过来,IBM已使用PCM的特别功用,这些功用容许内存中的乘法和加法功用处理紧缩感测(CS)和希罕信号规复以及图像重修的题目[2],[3]。

                这项最新任务树立在较早的任务根底上,并与一个完好的零碎(可以视为三台盘算机的货仓)一同运用,此中PCM充任盘算机和内存的双重脚色,如下所示。

                科研:IBM将PCM置于超维盘算的中心

                线性代数的魔力是辨认或推理进程的中心,无论是字符,单词,波形等,线性代数的用处都是经过运用十分高维的矢量(10,000位)来完成明晰分开的停车位。在多维向量空间中找到类,即工具的聚集及其纤细差异。

                然后,属于未知种别的小样本可以运用基于PCM的相反进程在为该家庭或种别分派的多维向量空间中找到独一地位,并乐成停止辨认,而不会形成混杂的危害。

                在上图中,运用一系列训练集对零碎停止了训练,这些训练集用白色,蓝色和绿色标识。我们在本文中运用的示例将是差别的言语,每种言语的训练集由多种言语中每种言语的大型文本文件构成。一旦对零碎停止了训练,就可以处置右上角的未知字符集(在这种状况下,能够是这些言语之一的漫笔本字符串)可以确定其言语。

                2个紫色框表现在此中实行内存处置的相变存储器(PCM)。该顶部内存称为项目内存,它存储根底超向量。底部存储器称为联系关系存储器,它存储原型超向量。在这两者之间是一个黄色逻辑块,它实行一个称为捆绑的义务。一切这些都将在本博客文章的稍后局部停止表明。

                该图的冗长阐明是,经过内存中处置和捆绑对每个训练集实行一个进程,而且该进程的后果存储在底部的联系关系存储器中。如今曾经对零碎停止了训练,可以将未知聚集停止相反的进程,并在联系关系内存中将其与其他聚集停止比拟,以确定哪个是最佳婚配。

                10,000位字(也称为矢量)的运用发生了用于超维盘算(HDC)的前缀“ Hyper”,作为对该零碎中运用的办法的描绘。

                超维度盘算超

                维度盘算并不是新事物,代数和庞大的概率数学曾经在呆板学习和辨认中占据一席之地。相似的技能也曾经用于数字通讯中。实践上,在该文献中可以找到以多种方法对大脑及其根部停止建模的零碎鲁棒性,一切这些都需求少量惯例盘算开支。

                新鲜的是在零碎级别上证明白PCM提供内存中盘算以加重总体盘算任务量的才能,并借助某些IBM创新的矢量处置快捷方法进一步加以了支持。

                内存起着存储设置装备摆设和盘算机的正常作用。PCM容许复杂地将欧姆定律用于乘法,将基尔霍夫定律用于加法,以实行庞大的统计盘算。PCM的电阻在遭到输出电压的作用下提供电流方式的乘积(I = V x 1 / R),而且当很多PCM单位衔接到大众点时,输入便是输出电流的总和。神经网络通常以这种方法完成。这是基于PCM的HDC的复杂局部。从那边开端,它变得愈加庞大,并进入多维超向量空间的天下。

                HDC辨认的先前完成需求频仍更新内存地位,从而招致对基于非易失性内存的零碎的磨损的担心。IBM研讨团队可以找到数学处理办法,将一切内存地位限定为只能写入一次。一切后续的内存拜访均被读取。别的,训练和辨认都在一次经过中实行,从而在进步速率的同时低落了功耗。

                HDC办法的另一个益处是它运用极端复杂的数学运算,此中一切操纵数都由一个位构成。少量的操纵数补偿了短少任何单个操纵数的精度的缺乏。这有点相似于可以经过少量巨大的彩色点构成高质量的灰度照片的方法。即便丧失了一些点,图片依然可以辨认。稍后我们将看到该零碎的两个存储器之一怎样实行与神经网络绝对相似的功用,但是经过运用单元精度而不是多位存储元件,零碎对位元功能的变革变得不那么敏感。 。

                PCM设置装备摆设构造

                作为PCM专家,我天然对学习IBM在此设计中运用哪种PCM感兴味。

                用于这项最新任务的内存阵列每个都包括300万个PCM单位,与IBM在较早的内存盘算演示中所运用的相反。有源存储资料接纳在90nm CMOS技能上制造的PCM单位掺杂了Ge 2 Sb 2 Te 5(d-GST),接纳所谓的“锁孔”工艺。

                底部电极的半径为20nm,d-GST的厚度为100nm,上部电极的半径为100nm。

                IBM好像没有任何方案以存储产物的方式将其PCM阵列提供应第三方。那些盼望使用超维盘算技能的人现在将不得不依托其他资源,乃至依赖于其他NVM技能,比方ReRAM或MRAM电阻设置装备摆设。

                复杂的题目

                让我们看一下IBM团队处理的最复杂的题目。它正在剖析一个短句方式的单词(包罗空格)样本,并确定其所属的言语。为了简化起见,我们假定一切言语都运用类似的字母。处理该特定题目的完好流程图如下所示。

                科研:IBM将PCM置于超维盘算的中心

                该图描绘了一个处置序列,该序列将每种言语的特别特性封装到一个10,000个元素的向量中。此实行的特点是每种言语特有的字母分组。(比方,英语比法语或德语多运用“ th”组合,而法语比其他多运用“ qu”,德语多运用“ ch”。)

                在顶部输出字符流:“举动胜于雄辩。” 该零碎旨在剖析字母组,因而该图以三个一组的方式表现了该字符串中的字母。

                我将运用很多盛行语扼要表明图表,这些盛行语将在下文中界说。

                每个字母都充任包括“根本超向量”的内存的地点。将以后字母的根底超向量与该组中其他字母的根底超向量组合,并将此组合发送到编码和捆绑机制。然后将一切3个字母的组合捆绑(界说如下)到“原型超向量”中,以存储在“联系关系内存”中。

                具有10,000个元素的原型超向量没无数值-它更多是承载信息的元素(位)的形式。更精确地说,它代表了多维空间中独一且分明差别的点。少量的维数意味着在辨认步调中,能够需求从样品中辨认出图案的某些局部,而依然可以疾速精确地停止辨认。

                训练完零碎后,可以运用与训练文真相同的方法处置未知言语的文本字符串,以天生“盘问超向量”。然后将此盘问超向量与一切原型超向量停止比拟,以确定哪个原型超向量与盘问最类似。

                逐渐功用

                进入多维向量空间的第一步触及创立所谓的“根底超向量”。10,000位根底超向量必需是相称数量的1和0的随机序列,以支持HyperDimension Computing共同的数学方式。它们被称为根底超向量,由于它们是设置装备摆设中一切操纵的终点。这些根底超向量存储在项目存储器中,并在产物生命周期内坚持稳定。

                下一步是为每种言语创立一个“原型超向量”。剖析每种言语的不计其数个句子,以找到3种字母的序列,这些序列是特定言语的特性。训练文本中的每个3个字母的序列都市依据根底超向量天生10,000位代码。该零碎旨在为相反的三个字母序列的每个实例发生相反的10,000位代码。然后,将此代码逐位添加到其后面一切3个字母序列的10,000位代码中。训练完成后,将针对阈值测试这10,000个总和,以发生大于阈值的数字“ 1”,不然天生“ 0”,从而发生该言语独占的10,000位原型超向量。

                创立原型超向量

                让我们看一下怎样创立这个风趣的向量。

                根底超向量被加载到称为项目存储器(IM)的PCM阵列中,如本文第一幅图所示。项存储器设置装备摆设为N个单词(大众字母中的字母数,加上一个空格),每个单词均由10,000位根本超向量构成,每个单词如前所述,由一组相称但随机的1s和0s。项目存储器的内容永稳定。

                当字符抵达时(表现在第二个图形的顶部的弧形中),每个字符都选择适宜的根底超向量,然后将其与相邻两个字母的根底超向量混淆以构成代表该序列的三字母组。研讨职员选择运用内存中的盘算功用简化此盘算。如前所述,将为相反的三个字母序列的每个实例天生相反的10,000位代码

                然后将整个训练集的这些序列添加到捆绑机制中以发生总和,然后将其与阈值停止比拟以发生原型超向量的位。在此进程中,一切向量均为10,000个元素超向量。

                思索一种言语的原型超向量的一种办法是,每个位代表来自相反言语的相似天生的向量在相反位地位具有“ 1”的能够性。这是由于该言语的三个字母的组通常会在该位地位天生一个带有“ 1”的超向量。假如原型超向量在该位地位具有“ 1”,则其他相似天生的超向量更有能够具有“ 1”,而且假如原型超向量在另一个位地位具有“ 0”,则相似天生的超向量为该地位更能够具有“ 0”。

                训练序列成为大型训练集的单一遍历。比方,较长的英语文本流将经过此进程运转,以天生单个英语原型超向量。一旦天生了该原型超向量,就将其存储在另一个名为“联系关系存储器”的PCM存储器中,该地点已被留出以代表英语。其他地点将用于存储代表其他言语的原型超向量。

                然后针对每种言语反复此进程,天生代表该言语的原型超向量,并将该言语的原型超向量存储到已为该言语保存的联系关系存储器中的地点中。

                婚配未知文本:盘问超向量

                在处置完一切训练言语之后,可以运用原型超向量确定新文本字符串的言语。这是怎样做:

                虽然10,000位原型超向量好像是“ 1s”和“ 0s”的随机散布,但是在该向量内是其所代表言语所独占的统计形式。假如运用与原型超向量相反的方法处置来自相反言语的新文本字符串,则它应该共享类似的属性,虽然不太能够是相反的。

                这些向量的长度容许即便某些位丧失,也很有能够将原型超向量与新文本字符串的超向量准确婚配,这称为“盘问超向量”。它是依据比训练集更短的文本序列创立的,纷歧定包括一切序列,乃至不用包括字母表的一切字母。

                在操纵中,未知言语的文本字符串将被处置为盘问超向量。然后针对每种训练过的言语,将其与原型超向量停止比拟,然后零碎确定最靠近的拟合方式。(接上去我将表明怎样。)零碎会答复以下题目:“这个新的文本字符串最相似于哪种言语?”

                在很大水平上,乐成的能够性添加了,由于每种言语原型超向量在多维向量空间中都与其他言语相距甚远,以致于不行能呈现辨认错误。紧张的功用是,将盘问超向量和原型超向量之间的统计链接停止比拟时,乐成率很高。

                将盘问与原型

                婚配经过盘算超空间中盘问相互之间的靠近水平,可以将盘问超向量与原型超向量停止婚配。由于一切维度都是单元变量,因而此盘算十分复杂,归结为确定它们共有几多位。沿两个位串的每个点上的“ 1s”和“ 0s”之间的重合越多,它们相互之间就越类似。

                假如在尺寸较小的空间中以多位值丈量间隔,则方式化盘算将十分费力,而且将需求其他电路元件。但是,由于比拟的向量具有相反数目的数字,而且由于这些数字都是二进制数字,因而IBM找到了一个简便的捷径,或许简化了间隔方程式的盘算庞大度。实质上,超向量能够比更多传统办法具有更多的位,但是数学变得更复杂,而且这种复杂性掩饰笼罩了位计数的添加。

                就像运用神经网络一样,经过盘算盘问和原型超向量的点积,将盘问超向量与一切原型超向量停止比拟,这是一次操纵。点积是两个向量的相应元素的乘积,然后是这些乘积的加法。

                图中表现了

                此中实行点积的遐想存储器的一小局部。

                科研:IBM将PCM置于超维盘算的中心

                盘问超向量使用于该图中的程度线,原型超向量(图中的P1,P2,P3…Pn)垂直位于PCM位单位中,辨别表现为白色和蓝色点-白色点代表一个低阻抗或“ 1”,蓝点表现高阻抗或“ 0”。盘问超向量中的任作甚1的位都将翻开该行中的晶体管。在盘问超向量和原型超向量都具有“ 1”的任何位地位,晶体管和PCM位单位都将容许电流活动,如白色箭头所示,而且该电流将被馈入到垂线。这个复杂的举措由欧姆定律启用,实行点积所需的乘法。

                然后,基尔霍夫定律将起作用以提供垂直线上的电流之和,从而提供乘积之和以完成点积。乘法和加法在单个操纵中实行。在每条垂直线中发生差别的电流,并在每条线的底部表现。原型超向量与输出盘问超向量更靠近的即将具有较高的电流,而其他即将具有较低的电流。

                顶部的黄色框仅按次序陈列垂直线,以避免一切内容立刻翻开。

                确定哪个原型Hypervector最靠近盘问Hypervector只是确定哪个垂直线具有最高电流的题目,这由得胜者通吃电路决议,最大电流确认婚配。

                后果

                该零碎提供了很好的精确性,如下图所示,摘自研讨职员的任务:

                科研:IBM将PCM置于超维盘算的中心

                该图表比拟了4种差别的实验:超维盘算算法的全软件施行例,基于PCM的零碎的模仿,在基于PCM的芯片上仅完成联系关系存储器的施行例以及两者项目存储器和联系关系存储器在PCM芯片上完成。虽然该软件施行例可以运用高精度数学运算,但是风趣的是,即便PCM受外部噪声的影响,而且点乘积中的电流会遭到电阻变革的倒霉影响,但照旧可以看到这两种PCM完成与其功能的靠近水平。在PCM位单位和选择晶体管中。

                在另一个对旧事故事停止分类的使用顺序中,该办法也异样无效

                科研:IBM将PCM置于超维盘算的中心

                再次,虽然硬件面对题目,但PCM施行例与软件施行例相比照旧十分有利的。

                研讨职员估量,运用更惯例的CMOS而不是基于PCM的内存中盘算的全硬件办法,每场竞赛将耗费数十至数百倍的能量,而且所需的芯单方面积将比其设计大数十倍。

                运用PCM的单次盘问办法无需庞大的屡次实验技能即可在不用耗功率和工夫的状况下给出答案,这是基于PCM的内存盘算的分明劣势。经过将PCM与欧姆定律和基尔霍夫定律停止创新的混淆来盘算点积,便提供了一种一次性处理方案。

                在一系列差别的测试中,运用内存盘算的基于PCM的办法在精确性方面被证明可与传统的基于全软件的办法相媲美。关于基于统计的零碎,后果是一种预测,因而精确性是乐成的目标之一。

                本文作者:PCM专家Ron Neale。

                持续阅读
                要害词 :
                PCM 超维盘算
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台