研究人员开发比GPU快15倍的商用CPU深度神经网络训练算法

美国莱斯大学（Rice University）的计算机科学家开发了一种被称为“次线性深度学习引擎”（SLIDE：sub-linear deep learning engine）的商用CPU算法，并通过Intel公司科研人员验证核实，其训练深度神经网络（DNN）的速度可比最顶级的图形处理器（GPU）训练器快15倍。该研究团队将在4月8日举行的MLSys 2021学术年会上展示他们的研究成果。

DNN的训练成本是人工智能应用的主要瓶颈之一，其系列矩阵乘运算非常适于采用GPU进行的任务。目前全球整个行业都在专注于探索专用的硬件和体系架构以获得更快的矩阵乘速度，甚至在考虑开发专门用于特定类型深度学习的专用硬件软件堆栈。

莱斯大学的科学家采取另外一种策略，将DNN训练转换为一种可以使用哈希表解决的搜索问题。他们开发SLIDE算法是专门为在商用CPU上运行而设计，在MLSys 2020学术年会上就已展示出具有超过基于GPU算法的能力。

他们的研究得到了美国国家科学基金会、美国空军科学研究办公室和美国海军研办公室的支持。他们为MLSys 2021会议提交的论文题目为《ACCELERATING SLIDE DEEP LEARNING ON MODERN CPUS:

《VECTORIZATION, QUANTIZATIONS, MEMORY OPTIMIZATIONS, AND MORE》，探讨了是否可以通过现代CPU中的矢量化和内存优化加速器来提高SLIDE的性能。