一种基于深度学习的目标跟踪加速器

李倍; 闵丰; 杨军; 梁科; 李国峰

Chinese

您当前的位置：

首页 >

文章列表页 >

一种基于深度学习的目标跟踪加速器

更新时间：2026-09-04

- 一种基于深度学习的目标跟踪加速器
- A deep learning object tracking accelerator
- 微电子学与计算机 2021年38卷第8期页码：53-58
- 作者机构：
  
  1. 南开大学IC设计与系统集成实验室，天津市光电传感器与传感网络技术重点实验室,天津,300350
  2. 中国科学院机构计算技术研究所,北京,100190
- 作者简介：
- 基金信息：
  
  国家自然科学基金项目 62004198北京市自然科学基金资助项目 4194092国家重点研发计划 2018AAA0102505
- DOI：
  中图分类号：
- 纸质出版：2021
- 稿件说明：
移动端阅览
李倍, 闵丰, 杨军, 梁科, 李国峰. 一种基于深度学习的目标跟踪加速器[J]. 微电子学与计算机, 2021, 38(8): 53-58.

LI Bei, MIN Feng, YANG Jun, et al. A deep learning object tracking accelerator[J]. 2021, 38(8): 53-58.
李倍, 闵丰, 杨军, 梁科, 李国峰. 一种基于深度学习的目标跟踪加速器[J]. 微电子学与计算机, 2021, 38(8): 53-58. DOI：

LI Bei, MIN Feng, YANG Jun, et al. A deep learning object tracking accelerator[J]. 2021, 38(8): 53-58. DOI：

摘要

针对当前神经网络加速器难以高效实现目标跟踪边框后处理的问题，提出一种高效的目标跟踪专用加速器.引入神经网络架构，用于提取输入视图特征并生成边框置信度与偏移量集合.随后针对目标跟踪的边框处理设计了专用于边框的回归、惩罚以及提取操作的加速模块，通过同步神经网络加速器与专用加速模块间的数据，以流水结构并行执行特征提取与边框操作，实现基于深度学习目标跟踪的端到端处理.该加速器在40 nm工艺下消耗面积3.64 mm，获得了5.71 Tops/W能效比.实验结果表明：与现有加速方案相比，该目标跟踪加速器获得了1.53倍加速，可实现实时的视频处理(31 fps).其中仅针对跟踪过程的后处理任务，专用加速模块相对RISC处理器可实现3.2倍的加速比.

Abstract

Since the current nerual network accelerator couldnt efficiently accelerate the post-processing of object tracking

a dedicated object trackeris proposed. A neural network architecture is introduced to extract the features of the input feature map. At the meanwhile

it generates thebounding box confidence and position offset sets. Adedicated acceleration module is designed for the anchor regression

penalty calculation and extraction.By synchronizing the data between the neural network accelerator and the dedicated module

a new pipelined structure is proposed to execute the feature extraction and anchor regression in parallel. Therefore

the end-to-end processing of the object tracking is efficiently achieved. The accelerator consumes an area of 3.64 mm under the SMIC 40nm process

and achieves 5.71 Tops/W energy efficiency. Experimental results show that

compared with the current accleration solutions

the object tracking accelerator achieves 1.53 times acceleration

and it could realize real-time video processing(31fps). For the post-processing task of the tracking

the processing speeds of the proposed dedicated module is improved by 3.2 times than the RISC processor.

关键词

Keywords

references

HELD D, THRUN S, SAVARESE S. Learning to track at 100 FPS with deep regression networks[C]//European Conference on Computer Vision. Cham: Springer, 2016: 749-765. DOI: 10.1007/978-3-319-46448-0_45.

LI B, YAN J J, WU W, et al. High performance visual tracking with Siamese region proposal network[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, IEEE, 2018: 1-5. DOI: 10.1109/CVPR.2018.00935.

TU F B, YIN S Y, OUYANG P, et al. Deep convolutional neural network architecture with reconfigurable computation patterns[J]. IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2017, 25(8): 2220-2233. DOI: 10.1109/TVLSI.2017.2688340.

乔瑞秀, 陈刚, 龚国良, 等. 一种高性能可重构深度卷积神经网络加速器[J]. 西安电子科技大学学报, 2019, 46(3): 130-139. DOI: 10.19665/j.issn1001-2400.2019.03.020. QIAO R X, CHEN G, GONG G L, et al. High performance reconfigurable accelerator for deep convolutional neural networks[J]. Journal of Xidian University, 2019, 46(3): 130-139. DOI: 10.19665/j.issn1001-2400.2019.03.020.

李云松, 尹万春, 宋长贺. 使用GPU硬件加速的Struck目标跟踪方法: 中国, 104680558A[P]. 2015-06-03. LI Y H, YIN W C, SONG C H. Struck Target Tracking Method Using GPU Hardware for Acceleration: China, 104680558A[P]. 2015-06-03.

CHEN Y H, KRISHNA T, EMER J S, et al. Eyeriss: An energy-efficient reconfigurable accelerator for deep convolutional neural networks[J]. IEEE Journal of Solid-State Circuits, 2017, 52(1): 127-138. DOI: 10.1109/JSSC.2016.2616357.

万晨雨, 贺雅娟. 一种基于存储的乘法器查找表的近似优化方法[J]. 电子产品世界, 2019, 26(7): 44-47. DOI: 44 WAN C Y, HE Y J. Look-up-table approximation for memory-based multiplier design[J]. Qutlook of Electronic Technology, 2019, 26(7): 44-47. DOI: 44

季飞, 王加庆, 刘剑, 等. 适用于硬件高速计算的CNN目标跟踪算法[J]. 微电子学与计算机, 2018, 32(12): 115-118. DOI: 10.19304/j.cnki.issn1000-7180.2018.12.023. JI F, WANG J Q, LIU J, et al. A target tracking algorithm based on CNN for high-speed calculation of hardware[J]. Microelectronics % Computer, 2018, 32(12): 115-118. DOI: 10.19304/j.cnki.issn1000-7180.2018.12.023.

浏览量

下载量

CSCD

文章被引用时，请邮件提醒。

提交

工具集

关联资源

一种基于特征上下文理解与切片分析的肺结核检测算法

基于区块链的AI生成内容溯源框架设计研究

基于监控指标关联性的微服务异常检测

基于反向体偏置的高增益稳定性高温运放设计

面向处理器分支预测单元的Spectre攻击轻量化防御方法