Faster R-CNN目标检测网络算法压缩和FPGA实现

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:hunanlyq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度卷积神经网络以其出色的非线性表达能力和特征提取能力在图像识别领域取得了惊人的成就。基于深度卷积神经网络的目标检测算法领域也出现了许多杰出工作,区域建议网络加持下的Faster R-CNN便是代表作之一,其检测精度高,特别适用于检测小目标,但是计算量高的缺点却限制了其在移动端或嵌入式设备上的部署。本文首先对Faster R-CNN模型的结构和参数量计算量进行了详细分析,然后分模块多阶段的对模型参数量和计算量进行了压缩,最后设计并实现了一种适用于异构计算平台的目标检测模型加速器。本文的主要贡献如下:(1)提出了一种多阶段联合的模型压缩方法。第一阶段将主干网络的稀疏工作从整体模型稀疏流程中剥离,既提高了主干网络的稀疏质量又降低了整体模型的稀疏难度;第二阶段使用了一个轻量级的特征金字塔网络替换了标准特征金字塔网络,避免了标准金字塔网络在处理高分辨率特征图时会引入大量计算的问题;第三阶段使用在线量化方式对模型的权重和激活值进行了8比特量化。(2)基于ABM-Sp Conv(Accumulate-Before-Multiply Sparse Convolution,先加法运算后乘法运算的稀疏卷积算法)算法实现了一种硬件加速器电路。对基本运算电路通过多种复用方式实现了数据并行计算和任务并行计算;为了缓解物理带宽压力和简化电路控制器,设计并实现了一种权重编码方案;为了解决并行计算时出现的数据访问冲突问题,设计并实现了一种单写多读端口的缓冲区。(3)提出了一种软硬件协同优化方法。首先对Faster R-CNN模型结构和参数进行静态分析,以此为基础优化了软件模型和确定了一部分硬件设计参数;然后对硬件加速器理论性能进行了数学建模和分析;最后进行了设计空间探索。在Pascal VOC数据集上mAP值损失低于2%的情况下,本文使用的模型压缩方法实现了Faster R-CNN模型尺寸38倍的压缩和计算量12.8倍的压缩,最终检测精度为80.3%。本文在Intel Arria 10 GX 1150 FPGA芯片上实现了加速器电路,加速器最高吞吐量为214GOP/S,实现了14.9FPS的检测速度。
其他文献
现有互联网缺乏时延保障能力,其技术已难以满足工业互联网、音视频等时延敏感应用的实时性与确定性要求。因此,IEEE时间敏感网络工作组基于二层以太网提出多种流量整形调度机制。其中,异步流量整形(Asynchronous Traffic Shaping,ATS)调度相比其它整形调度方案具有更高的带宽利用率且易于部署。然而ATS调度机制仅能部署在静态网络中,无法支持流量的动态加入和配置的灵活下发。因此,本
随着人工智能的高速发展,越来越多的领域关注于此并实现落地产业,然而人工智能的发展与模型精准性依赖于大量的数据。实际生活中,除了少数的公司能满足数据量需求外,绝大多数公司数据量少而且数据质量低,无法支撑构建精准的模型。而且国内外制定相关法律法规限制数据的流动,以加强对数据隐私的保护。为了解决“数据孤岛”的情况,联邦学习应运而生。当前已经有许多横向联邦学习的商业落地应用案例,间接扩大模型训练的数据量。
作为搜索引擎、推荐系统、互联网广告的核心技术之一,点击率预估一直是学术界和产业界的热门研究对象。传统的点击率预估模型需要将数据搜集于一处进行训练,但从隐私保护的角度而言,不搜集用户的数据才是一种更好的策略。联邦学习可实现在参与方数据不离开其本地的前提下,利用其数据进行机器学习。将联邦学习应用于点击率预估领域将有助于搜索引擎、推荐系统、互联网广告行业的隐私保护。本文的研究目标是联邦学习在点击率预估领
微波光子信号产生技术是微波光子学研究中的热门研究领域,光生微波信号的用途非常广泛,军用可用于卫星遥感、雷达系统、电子对抗,民用也可用于仪器测试、交通、临床医学等方面。相较于传统的电子学函数波形生成方法,微波光子信号产生技术可以有效的解决带宽、损耗和电磁干扰等“电子瓶颈”问题,且与光纤系统天然兼容。因此,在光电融合技术越发成熟的今天,研究函数波形信号光学生成具有十分重要的意义。本文的主要研究工作如下
抗生素在过去几十年中被广泛使用,由于抗微生物药物耐药性问题日益严重,引起了全球公共卫生的关注。城郊河流接收了大量含有抗生素的废水,被称为环境中抗生素和抗生素耐药基因的蓄水池。本研究以北京市城郊潮白河境内流域为研究区域,选取了包括22种磺胺类抗生素(SAs)、10种大环内脂类抗生素(MLs)、16种喹诺酮类抗生素(QNs)、13种四环素(TCs)、15种贝塔内酰胺类抗生素(β-Ls)、5种聚醚类抗生
本文将高光谱显微成像系统与生成对抗网络(Generative Adversarial Network,GAN)分类算法相结合,提出了一种新的针对多种类荧光分子样本制备结果的检测方式。和传统的紫外线激发成像相比,本文提出的算法弥补了紫外线激发成像难以把控细节、需要较多专家知识等不足,提高了对多种类荧光分子制备结果评判的效率和准确度。本文首先搭建了显微高光谱系统对多种类荧光分子进行数据采集,并对数据进
如今,随着电子商务的快速发展,线上销售渠道日渐重要,越来越多的企业致力于线上线下双渠道运营以满足消费者多元化的需求,获取更大的收益。双渠道供应链较传统供应链结构更加复杂,供应链成员间既有合作又有竞争,加大了供应链管理的难度。本文以双渠道供应链为研究对象,探讨不同情形下供应链成员的最优库存策略。首先,本文对双渠道供应链、传统库存管理理论以及多Agent技术研究现状进行归纳总结。其次,本文使用多Age
近年来北京城市规模不断发展扩大,机动车保有量不断上升,截至2020年北京市机动车保有量达到约657万辆,庞大的机动车保有量对北京目前的交通网络容量产生了巨大压力,城市交通拥堵与碳排放环境问题接踵而至。而这些问题以北京CBD等核心商务区尤为明显。解决该问题需要引导出行者更多的从小汽车出行向公共交通转移,定制公交作为一种全新的公共交通服务,以其舒适性强、线路灵活、经停站点少和需求响应快等特点成为公共交
采购作为完成企业生产经营目标的重要环节,对于提高最终产品的质量,降低单位成本,提高企业核心竞争力具有不可低估的作用。近年来,逆向拍卖作为一种有效的采购方式,正在被越来越多企业所采用。据Free Markets公司统计,公司采用逆向拍卖采购方法,可节省采购成本最低2%,最高可达25%,平均10%左右。企业通过逆向拍卖的方式采购商品或服务虽有着诸多优点,但同时也面临着供应商共谋的风险。供应商之间的共谋
随着互联网以及共享经济的发展,人们的生活方式更加多样化。在出行领域中,共享单车成为城市中众多人选择的交通工具。国内共享单车市场竞争的上半场已经结束,目前来到了一个三足鼎立的局面,这对业务的精细化运营提出了更高的要求。精细化运营离不开对业务数据进行分析,以数据作为决策的依据。在调研了业务整体背景并进行需求分析后,论文基于目前通用的大数据解决方案设计和实现了共享单车数据分析平台,完成了平台进行数据收集