富士通推出优化深度学习应用的电路设计
发布时间：2017-05-15据富士通公司官网2017年4月24日报道，富士通实验室开发了一种具有唯一数值表示的电路技术，可以减少计算中使用的数据位宽，并能基于深度学习训练计算的特点，根据分布统计信息来自动控制小数点位置，保持深度学习所需的计算精度。在学习过程中，通过减少计算单元的位宽和记录学习结果的存储器位宽，可以提高能效。
富士通实验室通过对采用新电路技术的深度学习硬件进行仿真，证实该技术能显著提高能效。在使用LeNet卷积神经网络进行深度学习的案例中，能效可达到32位计算单元的四倍。利用该技术，可以拓展使用深度学习的高级人工智能的应用范围，使之包括云端服务器和边缘服务器。公司还将继续改进该电路技术，以进一步减少深度学习中使用的数据量，并计划在2018年将该技术商业化，使其成为富士通公司人工智能技术的一部分。
参考用于深度学习训练的浮点数据标准宽度，以32位计算单元作为参照。通过将这些计算中使用的数据减少到16位甚至8位，每瓦特的计算次数可以大大增加。此外，富士通实验室已经实现整数运算技术(而非浮点运算技术)，进一步优化了计算。棘手的是，并不是所有的神经网络都能用降低了的精度进行处理，所以试图在需要32位计算单元的深度学习模型上强制拼行16位计算，将导致准确度的降低。
为此，在使用该技术的深度学习硬件计算核心中，包括了数据分析块、存储分析数据的分布数据库以及保留计算设置的块。数据分析块可在神经网络训练期间实时分析计算单元的数据输出，并将分析结果存储在数据库中作为显示数据分布的统计信息。该分布用于配置计算单元设置，以便其可以保持足够的计算精度。例如，在使用LeNet卷积神经网络和MNIST手写体数据集时，使用32位数据时识别准确率为98.90%，若利用该电路技术仅使用8位数据或16位数据，也能分别实现98.31%和98.89%的识别准确率。
http://www.fujitsu.com/global/about/resources/news/press-releases/2017/0424-03.htm1
来源：网络安全和信息化动态2017年09期
