【摘 要】
:
神经形态视觉传感器是一种模拟生物视网膜的仿生传感器,这种新型的视觉设备由光感受器阵列组成,每个光感受器单元异步产生事件,将场景的光强变化编码为无帧的时空事件流。这种传感器有低冗余、低时延、高时间分辨率、高动态范围等优点。由于事件流与传统图像在数据格式上有本质不同,传统图像处理方法无法直接应用与事件流数据。研究构造适合事件流数据的视觉处理方法,是神经形态视觉的一大研究课题。脉冲神经网络以脉冲传递信息
论文部分内容阅读
神经形态视觉传感器是一种模拟生物视网膜的仿生传感器,这种新型的视觉设备由光感受器阵列组成,每个光感受器单元异步产生事件,将场景的光强变化编码为无帧的时空事件流。这种传感器有低冗余、低时延、高时间分辨率、高动态范围等优点。由于事件流与传统图像在数据格式上有本质不同,传统图像处理方法无法直接应用与事件流数据。研究构造适合事件流数据的视觉处理方法,是神经形态视觉的一大研究课题。脉冲神经网络以脉冲传递信息,具有极高的生物可解释性。脉冲神经网络和神经形态视觉传感器都模拟了生物脉冲,二者在信息处理方式上具有一致性,因此事件流数据可以直接作为脉冲神经网络的输入。同时,脉冲神经网络的时间编码方式极大程度保留事件流数据高时间分辨率下的精准时间信息。研究处理事件流数据识别任务的脉冲神经网络模型,对于推动神经形态视觉的发展具有重要意义。然而,现有的基于事件的目标识别方法仍然不够完善,很多方法依然会导致精准时间信息的损失。另外,这些模型一般只在运动轨迹固定且范围较小的稳定数据集上有效,不具备随机轨迹物体识别的鲁棒性,而运动是触发事件流数据的必要条件,真实场景也极少满足运动轨迹完全固定。事件流数据识别模型对随机运动的鲁棒性是其真实场景应用的必备属性。本文从事件流数据的定位与识别任务出发,构造了基于事件的脉冲神经网络目标定位与识别一体化的模型,本文的主要内容和贡献如下:1.提出了一种尺度融合的多脉冲事件流目标特征提取方法,并使用群体编码的tempotron分类算法,构造了事件驱动的脉冲神经网络目标识别模型。该模型在多个数据集上均取得了优于目前几个典型方法的分类效果。2.提出了一种活跃域检测的定位算法,通过动态更新活跃像素集合,获取活跃域的外接矩形作为目标定位。该算法在定位过程中基于事件驱动,避免了大多数事件流定位算法存在的额外时延问题。3.实现了定位算法与识别过程一体化的设计,在不引入额外去噪模块的情况下,实现具有强抗噪性的定位过程。构造了一个基于事件的目标定位与识别模型,实现了对于随机运动目标的鲁棒识别。
其他文献
脉冲神经网络模仿生物采用脉冲进行信息的传递与处理,是类脑计算的重要研究内容,相比于传统的人工神经网络,它具有更高的生物可解释性、更强大的计算能力和更低的能耗,能够更好地处理时空特征信息,并且,基于脉冲神经网络能够构建神经形态计算,突破现代计算机发展的瓶颈。然而,深度脉冲神经网络具有复杂的时空关系和脉冲不可微的特性,这些难点限制了反向传播在深度脉冲神经网络上的利用,导致其性能与传统人工神经网络仍有差
红外图像分辨率低和非均匀性噪声显著是红外图像复原研究中的重要问题。不同于传统算法设计,基于卷积神经网络的红外图像复原方法最大特点是提升复原能力并减少设计成本,使算法更智能化。然而,现有的基于卷积神经网络的单帧红外图像复原方法中,网络模型通常只具备单任务处理(去噪或超分辨率重建)能力,并且丰富的数据量需求以及大规模网络结构会给数据收集、模型训练和存储带来困难。针对这些问题和难点,本文重点开展以下研究
语义分割的任务是通过卷积神经网络预测输入图像所有像素点的类别标签,或理解为在像素层面进行的图像分割。目前,语义分割在单纯提升精度的研究工作已近瓶颈,同时也暴露出基于全卷积与监督学习下的语义分割模型的研究难点:1、标注数据成本问题。语义分割需要海量的标注数据作为精准分割的基础;2、计算资源问题。深度的卷积网络带来巨量的资源消耗,对硬件的要求非常苛刻;3、精细分割问题。深度卷积网络的池化和下采样步骤必
时序网络中的异常检测广泛地应用于医学、网络安全、社交网络等领域,旨在时序网络中检测某特定时刻明显偏离网络中大多数正常模式或不符合期望模式的节点或者边,能帮助人们发现潜在的不安全因素或感兴趣的问题。本文从时序网络中用户行为异常和用户交互异常两个方面开展了研究工作。在用户行为异常方面,现有工作的忽略了行为本身特征以及无法有效地捕捉时序网络的结构、时序特征,根据这两个不足提出了基于行为时序网络的局部变化
数据中心作为网络中支撑大数据、云计算重要的基础设施,其能耗问题一直备受关注。由于数据中心的节能需要更灵活的管理,允许对网络设备进行灵活控制的新兴技术软件定义网络为数据中心网络的节能路由优化带来了新的机遇。软件定义网络(SDN)是一种控制平面和数据平面分离的新型网络架构,具有灵活且逻辑集中控制的特性;利用SDN架构集中控制的优势,结合大数据分析和网络功能可编程的特性构建节能网络来降低数据中心能耗,对
行人重识别(ReID)是计算机视觉领域的一个重要研究方向,主要解决跨摄像机、跨场景下的行人识别与检索问题,可广泛应用于安防监控和刑事侦查等领域。然而监控环境下的图像易受到背景和光照等因素的干扰,摄像机也会因为夜晚光线不足而切换到红外模式,以上因素都给行人重识别带来了挑战。本文利用深度学习技术,对单模态和跨模态行人重识别问题展开研究,主要工作和创新点如下。(1)针对当前单模态行人重识别中网络结构复杂
传感器阵列由空间中按特定方式排列的一组传感器组成,对物理场进行空间离散采样。阵列信号处理技术利用传感器阵列获取包含了物理场空域-时域/频域信息的数据,对阵列信号数据进行处理,提取其中感兴趣的信号、估计源的时频域参数等。随着处理器、传感器等硬件设备的升级,与信号数学模型及算法理论的突破与推进,阵列信号处理技术迅速发展普及,广泛应用于雷达、声呐、无线通信、生物医学、语音智能等军事及民生领域。声源位置相
人脸图像生成是指利用计算机合成出满足需求的伪造人脸图像,比如黑白照片上色,由模糊人像生成清晰人像等,在各个领域有广泛的应用前景。近年来,随着深度学习技术的迅猛发展,利用深度卷积网络、生成对抗网络等神经网络生成模型生成人脸图像成为了研究热点。利用人像生成技术生成去妆容人像的需求可以分为以下两类:一、去妆算法有面向人眼视觉效果的需求,包括卸妆效果滤镜的娱乐应用、人工参与的身份检查等。二、去妆算法有面向
染色质交互作用是不同染色质间发生的交互现象,影响基因遗传调控等机制。染色质交互作用测量的人工实验成本很高精度很低,且难以在不同细胞类型间迁移使用。主要存在的问题包括:(1)基于组蛋白修饰数据和DNA序列预测染色质交互作用研究鲜少见于文献,目前染色质交互作用预测的相关性结果不高,组蛋白修饰样本缺少对空间位置、数据归一化等特征处理影响的研究,针对不同类型细胞染色质交互作用迁移预测方法不够完善难以推广;
机器阅读理解是自然语言处理领域中的一个重要研究方向,它要求机器通过阅读文本回答问题。以往的机器阅读理解模型大多专注于单文本检索,这些模型只能根据单个段落回答问题,但是在实际问答场景中往往需要通过对多个段落进行推理才能获取问题的答案。为了解决这个问题,多跳推理问答任务被提出。多跳推理问答是机器阅读理解的子任务,该任务旨在跨多个段落进行推理查找给定问题的答案,具备知识推理的能力。目前已有很多模型在多跳