新系统工作方式与人脑处理语言方式类似降低系统计算能力和时间

根据麻省理工学院的报道,为了实现一种更类似于人类大脑处理语言的机制,该校的一个研究团队提出了一个软硬件结合的系统,名为SpAtten。

该系统是专门用来运行注意力机制的,该机制专注于关键词,而不是以同等重要性对待每一个词。这一点特别重要,因为这种机制在自然语言处理NLP)任务中产生了更好的结果,例如检测积极或消极的语气或预测可能贯穿上下文的单词。

该系统复制了人类大脑处理语言的方式,并能以更少的计算能力实现更精简的NLP。

注意力机制解释

注意力机制于2015年首次提出,由于其注重选择性,因此引起了极大关注。近年来注意力机制(Attention Mechanism)成为深度学习领域的研究热点之一。注意力机制的思想源自人类视觉,即人眼通过快速扫描聚焦于需重点关注的目标区域,之后对该区域投入更多注意力,以获取所需的细节信息,同时抑制其他信息,是人类利用有限资源从大量信息中快速筛选出有价值信息的一种能力。然而,它是有代价的,因为这种能力对内存的要求很高。

麻省理工学院的研究人员开发的系统之所以特别,是因为通过利用专门的软件和硬件,他们能够更高效地运行注意力机制。

SpAtten对“级联修剪”的使用是实现这一目标的一项关键进展。在注意力机制帮助选择关键字之后,SpAtten摆脱了不重要的关键字,并消除了类似的计算和数据移动。不重要的磁头也被删除,从而减少了处理过程中的计算负荷和内存访问。

除了软件上的进步,研究人员还必须开发一个专门运行他们特殊系统和注意力机制的硬件架构。他们的设计使SpAtten能够在少量的计算机时钟周期内对关键词和头部的重要性进行排序。

虽然他们还没有做一个物理芯片,但研究人员能够通过模拟测试硬件设计。当与它的下一个最佳竞争对手TITAN Xp GPU运行时,SpAtten的运行速度比其他竞争对手快了100多倍,能效也高了1000多倍。

研究人员称,使用NLP模型进行AI工作负载的公司可以从SpAtten中受益。该研究对未来的愿景是,消除语言冗余的新算法和硬件将降低成本,并节省数据中心NLP工作负载的电力预算。

我们可以提高手机或物联网设备的电池寿命。这一点尤为重要,因为在未来,众多的物联网设备将通过语音和自然语言与人类进行交互,所以NLP将是要采用的第一个应用。获取更多前沿科技 信息 请持续关注:https://byteclicks.com

新系统工作方式与人脑处理语言方式类似降低文本分析计算能力和时间

上一篇:

下一篇:


标签