北京快三开奖

  • <tr id="U9YkSO"><strong id="U9YkSO"></strong><small id="U9YkSO"></small><button id="U9YkSO"></button><li id="U9YkSO"><noscript id="U9YkSO"><big id="U9YkSO"></big><dt id="U9YkSO"></dt></noscript></li></tr><ol id="U9YkSO"><option id="U9YkSO"><table id="U9YkSO"><blockquote id="U9YkSO"><tbody id="U9YkSO"></tbody></blockquote></table></option></ol><u id="U9YkSO"></u><kbd id="U9YkSO"><kbd id="U9YkSO"></kbd></kbd>

    <code id="U9YkSO"><strong id="U9YkSO"></strong></code>

    <fieldset id="U9YkSO"></fieldset>
          <span id="U9YkSO"></span>

              <ins id="U9YkSO"></ins>
              <acronym id="U9YkSO"><em id="U9YkSO"></em><td id="U9YkSO"><div id="U9YkSO"></div></td></acronym><address id="U9YkSO"><big id="U9YkSO"><big id="U9YkSO"></big><legend id="U9YkSO"></legend></big></address>

              <i id="U9YkSO"><div id="U9YkSO"><ins id="U9YkSO"></ins></div></i>
              <i id="U9YkSO"></i>
            1. <dl id="U9YkSO"></dl>
              1. <blockquote id="U9YkSO"><q id="U9YkSO"><noscript id="U9YkSO"></noscript><dt id="U9YkSO"></dt></q></blockquote><noframes id="U9YkSO"><i id="U9YkSO"></i>
                企业空间 推销商城 存储论坛
                北京快三开奖全闪存阵列 IBM云盘算 Acronis 安克诺斯 安腾普 腾保数据
                首页 > 效劳器 > 注释

                海潮AI效劳器大幅提拔NLP模子Transformer训练功能

                2019-09-12 16:32泉源:中国存储网
                导读:海潮AI效劳器NF5488M5 经过无壅闭的GPU全互连设计,打破性地完成了All to All 300GB/s的Peer to Peer带宽。

                克日,在北京举行的2019人工智能盘算大会(AICC 2019)上,海潮公布主流天然言语处置(NLP)模子Transformer的最新功能测试数据。Transformer模子参数范围可达数亿,对盘算、通讯的要求十分高。功能数据表现,相比同类效劳器,海潮AI效劳器NF5488M5大幅提拔了Transformer的训练功能,GLUE基准训练至80.4%的工夫相比同类产物大幅增加67%。

                海潮AI效劳器大幅提拔NLP模子Transformer训练功能

                海潮AI效劳器NF5488M5

                人工智能正在由“能看、会听”的感知智能向“能读、会写”的认知智能迈进。由于笔墨是信息、头脑的紧张载体,假如盘算性能够了解笔墨并可以用笔墨表达,那么就具有了读写才能,因此NLP被以为是认知智能的紧张打破口。现在主流的NLP模子包罗Transformer, Bert, GPT, XLNet等,而Bert和GPT都基于Transformer架构。Transformer被视为是NLP的经典模子,2017年由谷歌提出,其应用自留意力(self-attention)机制完成疾速并行,而且可以添加到十分深的深度,充沛开掘DNN模子的特性,提拔模子精确率。

                但是Transformer模子训练是一浩劫题,由于其参数范围到达数亿,对盘算力的需求很大。OpenAI的Transformer模子有12层、768个隐蔽单位,运用8块P100 GPU在8亿词量的数据集上训练40个Epoch需求一个月。面前的缘由很大水平上在于GPU通讯制约。Transformer Attention机制的全衔接层盘算时会发生海量参数,而更新参数梯度需求GPU间高速传输。同时,模子范围很大招致占用少量GPU显存,而batchsize通常都很小,招致每次盘算的工夫较快,盘算后更新参数梯度频仍,这也进一步要求更高的GPU间传输速率。

                海潮AI效劳器NF5488M5 经过无壅闭的GPU全互连设计,打破性地完成了All to All 300GB/s的Peer to Peer带宽。在以后深度学习通讯模子All Reduce功能体现上,NF5488M5的实践通讯带宽可以到达接纳惯例NVLink互联的GPU效劳器的3倍以上。正是这种特性,大大提拔了Transformer模子在NF5488M5上的通讯服从,从而加大了盘算通讯比,浪费了全体运转工夫。测试后果标明,NF5488M5大幅提拔了Transformer训练功能,GLUE基准训练至80.4%的工夫比接纳PCIe互联的8GPU效劳器延长67%,比接纳惯例NVLink互联的8GPU效劳器延长31%。

                海潮AI效劳器大幅提拔NLP模子Transformer训练功能

                Transformer训练功能测试后果

                海潮团体AI&HPC总司理刘军以为,以后基于Transformer的Bert, XLNet等模子代表了NLP的开展偏向,而它们的特点便是减速器间通讯制约。测试后果充沛标明海潮AI效劳器NF5488M5在GPU间通讯服从上具有明显抢先劣势,可以大幅提拔Transformer等大型AI任务负载的训练功能,低落训练本钱,减速认知智能研发和使用落地。

                海潮是人工智能盘算的向导品牌,AI效劳器中国市场份额坚持50%以上,并与人工智能抢先科技公司坚持在零碎与使用方面的深化合作无懈,协助AI客户在语音、语义、图像、视频、搜刮、网络等方面获得数目级的使用功能提拔。海潮与协作同伴共建元脑生态,共享AI盘算、资源与算法三大中心平台才能,助力行业用户开辟并摆设属于本人的“行业大脑”,减速推进财产AI化落地。

                持续阅读
                要害词 :
                海潮效劳器
                中国存储网声明:此文观念不代表本站态度,若有版权疑问请联络我们。
                相干阅读
                产物引荐
                头条阅读
                栏目热门

                Copyright @ 2006-2019 ChinaStor.COM 版权一切 京ICP备14047533号

                中国存储网

                存储第一站,存储流派,存储在线交换平台