基于神经元容错度分析的神经网络裁剪与近似计算技术研究

王旭; 王晶; 张伟功

Chinese

您当前的位置：

首页 >

文章列表页 >

基于神经元容错度分析的神经网络裁剪与近似计算技术研究

更新时间：2026-09-04

- 基于神经元容错度分析的神经网络裁剪与近似计算技术研究
- Research on neural network pruning and approximate computing technology based on neuron fault tolerance analysis
- 微电子学与计算机 2019年36卷第11期页码：70-75
- 作者机构：
  
  1. 首都师范大学机构信息工程学院,北京,100048
  2. 中国科学院计算技术研究所体系结构重点实验室,北京,100086
  3. 电子系统可靠性北京市重点实验室,北京,100048
- 作者简介：
- 基金信息：
  
  国家自然科学基金 61772350国家自然科学基金 61741211北京市高水平教师队伍建设计划项目 CIT%amp;TCD201704082北京市高水平教师队伍建设计划项目 CIT%amp;TCD20170322北京市科技新星计划项目 Z181100006218093未来芯片高精尖中心开放课题 KYJJ2018008
- DOI：
  中图分类号：
- 纸质出版：2019
- 稿件说明：
移动端阅览
王旭, 王晶, 张伟功. 基于神经元容错度分析的神经网络裁剪与近似计算技术研究[J]. 微电子学与计算机, 2019, 36(11): 70-75, 83.

WANG Xu, WANG Jing, ZHANG Wei-gong. Research on neural network pruning and approximate computing technology based on neuron fault tolerance analysis[J]. 2019, 36(11): 70-75.
王旭, 王晶, 张伟功. 基于神经元容错度分析的神经网络裁剪与近似计算技术研究[J]. 微电子学与计算机, 2019, 36(11): 70-75, 83. DOI：

WANG Xu, WANG Jing, ZHANG Wei-gong. Research on neural network pruning and approximate computing technology based on neuron fault tolerance analysis[J]. 2019, 36(11): 70-75. DOI：

摘要

本文将神经元裁剪和近似计算技术相结合

首先提出基于统计排序的神经元容错能力量化方法.然后

为了识别神经元的裁剪度

根据神经元的容错能力提出神经元重要程度排序算法.其次

引入轻量级的重训练

提出循环裁剪法

以探寻最优裁剪率.最后

根据神经元的容错能力

在神经网络运行过程中使用近似计算技术进一步降低功耗开销.本文通过两个实验

证明了该技术的有效性

其中以MNIST为例

在精度损失小于5%的情况下

压缩率达到50%

节能1.35倍.

Abstract

This paper proposes to use neuron node pruning and approximate computing simultaneously. First

we propose a method to quantify the fault tolerance capability of neurons based on statistics. Then

to identify whether the neuron can be pruned

an importance ranking algorithm is proposed based on the fault tolerance capability. Next

introducing retrain and cyclic pruning to find the optimal pruning rate. Finally

approximate computing technique is used to further reduce power consumption during neuron network execution. The effectiveness of above technique is proved by two experiments. In the case of MNIST dataset

the compression rate is 50% and the power saving is 1.35×when the output accuracy loss is less than 5%.

关键词

Keywords

references

ZHANG Q, WANG T, TIAN Y, et al. ApproxANN: an approximate computing framework for artificial neural network[C]// Design, Automation % Test in Europe Conference % Exhibition. Grenoble, France, EDA Consortium, 2015.

邢静宇, 张立臣.动态电压调整多处理器实时系统任务调度[J].微电子学与计算机, 2006, 23(2):55-57. DOI: 55

YU J, LUKEFAHR A, PALFRAMAN D, et al. Scalpel: customizing DNN pruning to the underlying hardware parallelism[J]. AcmSigarch Computer Architecture News, 2017, 45(2):548-560. DOI: 548

朱新召, 胡哲琨, 周莉, 等.基于多核处理器的多层感知神经网络设计和实现[J].微电子学与计算机, 2014, 31(11):27-31. DOI: 27

SARWAR S S, VENKATARAMANI S, RAGHUNATHAN A, et al. Multiplier-less artificial neurons exploiting error resiliency for energy-efficient neural computing[C]// 2016 Design, Automation % Test in Europe Conference % Exhibition (DATE). Dresden, Germany, IEEE, 2016.

COURBARIAUX M, BENGIO Y, DAVID J P. BinaryConnect: training deep neural networks with binary weights during propagations[C]// International Conference on Neural Information Processing Systems. Istanbul, Turkey, 2015.

GUERREIRO J, ILIC A, ROMA N, et al. GPGPU power modeling for multi-domain voltage-frequency scaling[C]// IEEE International Symposium on High Performance Computer Architecture. Vienna, Austria, 2018.

YANG T J, CHEN Y H, SZE V. Designing energy-efficient convolutional neural networks using energy-aware pruning[C]// Computer Vision % Pattern Recognition. Honolulu, HI, USA, IEEE, 2017.

CARLSON T E, HEIRMAN W, EECKHOUT L. Sniper: exploring the level of abstraction for scalable and accurate parallel multi-core simulation[C]// High Performance Computing, Networking, Storage % Analysis. Washington, USA, IEEE, 2011.

HAN S, MAO H, DALLY W J. Deep compression: compressing deep neural networks with pruning, trained quantization and huffman coding[J]. Fiber, 2015, 56(4):3-7. DOI: 3

BABAEIZADEH M, SMARAGDIS P, CAMPBELL R H. NoiseOut: a simple way to prune neural networks[J]. arXiv.org > cs > arXiv:1611.06211v1, 2016.

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

面向处理器分支预测单元的Spectre攻击轻量化防御方法

一种用于极低压boost系统的高效率电荷泵

基于监控指标关联性的微服务异常检测

低功耗设计的双链电源关断策略的实现与验证

一种基于特征上下文理解与切片分析的肺结核检测算法