Multi-modal reconfigurable accelerator for edge-side intelligent recognition on UAVs

ZHANG Jianming; ZHOU Jinliang; ZHANG Yihan; GU Haiyu

Chinese

您当前的位置：

首页 >

文章列表页 >

Multi-modal reconfigurable accelerator for edge-side intelligent recognition on UAVs

更新时间：2026-06-16

- Multi-modal reconfigurable accelerator for edge-side intelligent recognition on UAVs
- Advances in Aeronautical Science and Engineering Pages: 1-10(2026)
- 作者机构：
  
  1.成都西南信息控制研究院有限公司系统工程所，成都 611730
  2.哈尔滨工业大学航天学院，哈尔滨 150001
- 作者简介：
- 基金信息：
- DOI：
  CLC： V279
- Received：10 April 2026，
  
  Revised：2026-06-11，
  
  Online First：16 June 2026，
- 稿件说明：
移动端阅览
张健铭,周进良,张一涵,等. 面向无人机端侧智能识别的多模可重构加速器[J]. 航空工程进展.

ZHANG Jianming,ZHOU Jinliang,ZHANG Yihan, et al. Multi-modal reconfigurable accelerator for edge-side intelligent recognition on UAVs[J]. Advances in Aeronautical Science and Engineering.(in Chinese)
张健铭,周进良,张一涵,等. 面向无人机端侧智能识别的多模可重构加速器[J]. 航空工程进展. DOI：

ZHANG Jianming,ZHOU Jinliang,ZHANG Yihan, et al. Multi-modal reconfigurable accelerator for edge-side intelligent recognition on UAVs[J]. Advances in Aeronautical Science and Engineering.(in Chinese) DOI：

摘要

无人机端侧处理多模态目标识别任务时存在压缩模型适配性不足，缺乏混合精度计算支持及软硬件协同较差等问题，提出并实现一种面向端侧智能识别的多模可重构加速器。在硬件层面，设计支持多粒度可变位宽的运算架构，结合硬件友好型剪枝机制实现稀疏模型的低开销推理；在软件层面，基于深度学习编译框架（TVM）构建编译器，通过改进乒乓机制实现指令并行，并采用算子融合技术降低数据搬运开销。结果表明：该加速器对可见光、红外、激光雷达数据的平均识别响应时间分别为28.9、27.9、94.96 ms，平均准确率均超90%。从而证明，相应的软硬件协同设计方法显著提升了端侧设备的并行计算能力，满足了无人机在复杂环境下多模态目标实时侦察的需求。

Abstract

To address the issues of insufficient compressed model adaptability， lack of mixed-precision computing support， and poor hardware-software collaboration in UAV edge-side processing for multimodal target recognition tasks， this paper proposes and implements a multimodal reconfigurable accelerator for edge intelligent recognition. At the hardware level， an arithmetic architecture supporting multi-granularity variable bit widths is designed， and low-overhead inference of sparse models is achieved combined with a hardware-friendly pruning mechanism. At the software level， a compiler is constructed based on the deep learning compilation framework （TVM）， instruction parallelism is realized by improving the ping-pong mechanism， and operator fusion technology is adopted to reduce data transfer overhead. Experimental results show that the average recognition response time of the accelerator for visible light， infrared， and LiDAR data is 28.9 ms， 27.9 ms， and 94.96 ms respectively， with an average accuracy rate exceeding 90%. The results show that the proposed hardware-software co-design approach significantly improves the parallel computing capability of edge-side devices and satisfies the requirements of UAV-based real-time multimodal target reconnaissance in complex environments.

关键词

Keywords

references

方芳，彭玉婷 . 2021年外军信息系统领域发展综述［J］. 中国电子科学研究院学报， 2022 ， 17 （ 4 ）： 311 - 316 .

Fang Fang ， Peng Yuting . A comprehensive analysis of the developments of foreign military information systems in 2021 ［J］. Journal of China Academy of Electronics and Information Technology ， 2022 ， 17 （ 4 ）： 311 - 316 . （in Chinese）

庞召力 . 外军重要目标夺控作战中无人作战力量运用探要［J］. 军事文摘， 2024 （ 8 ）： 35 - 40 .

Pang Zhaoli . On the application of unmanned combat forces in the capture and control of important foreign targets ［J］. Military Digest ， 2024 （ 8 ）： 35 - 40 . （in Chinese）

周宇，赵玲，杨航，等 . 多信息智能传感器融合技术在联合作战中的应用［J］. 国防科技， 2024 ， 45 （ 1 ）： 22 - 29 .

Zhou Yu ， Zhao Ling ， Yang Hang ， et al . Application of multi-information intelligent sensor fusion technology in joint operations ［J］. National Defense Technology ， 2024 ， 45 （ 1 ）： 22 - 29 . （in Chinese）

杨超明 . 卷积神经网络硬件加速器及其量化算法研究［D］. 广州：广东工业大学， 2025 .

Yang Chaoming . Research on hardware accelerators and quantization algorithms for convolutional neural networks ［D］. Guangzhou ： Guangdong University of Technology ， 2025 . （in Chinese）

李霞，孙濛，杨铖 . 我国算力产业的链式架构及其效率评估［J］. 社会科学动态， 2025 （ 6 ）： 14 - 29 .

Li Xia ， Sun Meng ， Yang Cheng . A chained architecture of China's computing power industry and its efficiency evaluation ［J］. Dynamics of Social Sciences ， 2025 （ 6 ）： 14 - 29 . （in Chinese）

申剑蓉 . 人工智能技术在计算机网络安全中的应用［J］. 电子技术， 2025 ， 54 （ 6 ）： 350 - 351 .

Shen Jianrong . Application of artificial intelligence technology in computer network security ［J］. Electronic Technology ， 2025 ， 54 （ 6 ）： 350 - 351 . （in Chinese）

路唯佳，贺仁龙 . 新一代智算网络技术及其发展趋势研究［J］. 上海信息化， 2025 （ 6 ）： 12 - 17 .

Lu Weijia ， He Renlong . Research on new generation intelligent computing network technology and its development trend ［J］. Shanghai Informatization ， 2025 （ 6 ）： 12 - 17 . （in Chinese）

罗晓羽 . 现场可编程门阵列标准体系现状及建设思路探析［J］. 信息技术与标准化， 2025 （ 8 ）： 63 - 66 .

Luo Xiaoyu . Analysis of the current situation and construction idea of standard system for field-programmable gate array ［J］. Information Technology & Standardization ， 2025 （ 8 ）： 63 - 66 . （in Chinese）

唐东洋，田科源，韩庆，等 . 微小型无人机室内目标自主搜索方案研究［J］. 航空工程进展， 2025 ， 16 （ 5 ）： 91 - 102 .

Tang Dongyang ， Tian Keyuan ， Han Qing ， et al . Research on autonomous indoor target search solution for MAVs ［J］. Advances in Aeronautical Science and Engineering ， 2025 ， 16 （ 5 ）： 91 - 102 . （in Chinese）

石添介，刘飞阳，张晓 . 机载超轻量化卷积神经网络加速器设计［J］. 航空工程进展， 2024 ， 15 （ 2 ）： 188 - 194 .

Shi Tianjie ， Liu Feiyang ， Zhang Xiao . Design of airborne ultra-lightweight convolutional neural network accelerator ［J］. Advances in Aeronautical Science and Engineering ， 2024 ， 15 （ 2 ）： 188 - 194 . （in Chinese）

高远，闫妍，周磊，等 . 基于卷积神经网络和多项式混沌方法的翼型鲁棒性优化［J］. 航空工程进展， 2021 ， 12 （ 2 ）： 80 - 87 .

Gao Yuan ， Yan Yan ， Zhou Lei ， et al . Airfoil robust optimization based on convolutional neural network and polynomial chaos method ［J］. Advances in Aeronautical Science and Engineering ， 2021 ， 12 （ 2 ）： 80 - 87 . （in Chinese）

Lee J ， Kim Y ， Lee J ， et al . Stitch-x： a sparse CNN accelerator with flexible weight stitching for FPGAs ［C］∥ 2020 IEEE 28th Annual International Symposium on Field-Programmable Custom Computing Machines （FCCM） . Piscataway， NJ， USA ： IEEE ， 2020 ： 1 - 9 .

Jouppi N P ， Young C ， Patil N ， et al . In-datacenter performance analysis of a tensor processing unit ［C］∥ Proceedings of the 44th Annual International Symposium on Computer Architecture . Toronto， ON， Canada . ACM ， 2017 ： 1 - 12 .

Aimar M ， Rusci M ， Conti F ， et al . NullHop： a low-power CNN accelerator exploiting feature map sparsity ［J］. IEEE Transactions on Very Large Scale Integration （VLSI） Systems ， 2021 ， 29 （ 3 ）： 511 - 524 .

Hu X ， Zhang Y ， Liu S ， et al . A resource-efficient FPGA accelerator for convolutional neural networks with quad-level PE array ［J］. IEEE Access ， 2020 ， 8 ： 156243 - 156254 .

Zhang C ， Li P ， Sun G ， et al . DNN builder： an automated tool for building high-performance DNN accelerators on FPGAs ［C］∥ 2019 IEEE 27th Annual International Symposium on Field-Programmable Custom Computing Machines （FCCM） . Piscataway， NJ， USA ： IEEE ， 2019 ： 1 - 9 .

Chen T ， Moreau T ， Jiang Z ， et al . TVM： an automated end-to-end optimizing compiler for deep learning ［C］∥ 13th USENIX Symposium on Operating Systems Design and Implementation （OSDI 18） . Berkeley， CA， USA ： USENIX Association ， 2018 ： 578 - 594 .

Geiger A ， Lenz P ， Urtasun R . Are we ready for autonomous driving？ The KITTI vision benchmark suite ［C］∥ 2012 IEEE Conference on Computer Vision and Pattern Recognition . Providence， RI ， USA . IEEE ， 2012 ： 3354 - 3361 .

Views

下载量

CSCD

Alert me when the article has been cited

提交

Tools

Publicity Resources

Analysis and verification of fire resistance of non-metal fuel water drain valve of aircraft

A decision-making system for air transportation of emergency relief materials based on deep learning

Research on low noise departure trajectory planning based on improved dynamic window method

Parametric influence numerical simulation study on blade serrations for noise reduction

Study on influence of fuel bent pipe structural parameters of aircraft engine on natural frequency

Related Author

No data

Related Institution

No data

AI问答

Postal code：100079
Tel：（010）53879206 Email：tmw@bjxintong.com.cn
Technical support is provided by Beijing Founder electronics co., LTD 京ICP备09082226号-64 京公网安备11010602201714号
It is recommended to read the content of this site in Chrome&IE9+. Please switch to extreme mode in browser 360.
Cookies We use cookies to help provide and enhance our service and tailor content. By continuing, you agree to the use of cookies.

⁰