基于视觉注意的立体视频感兴趣区域提取

来源 :浙江大学 | 被引量 : 0次 | 上传用户:strongstrongqiang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,图像和视频已经越来越成为多媒体的主要表现形式,如何有效地从大规模的图像视频数据中定位用户真正需要的图像块,已经成为了图像和视频处理领域比较热门的问题,感兴趣区域提取正是解决这一问题的关键技术。感兴趣区域是图像中最能引起用户兴趣,最能表现图像内容的区域。感兴趣区域提取技术在图像处理和分析领域有着重要的地位和广泛的应用,如JPEG2000压缩编码、机器视觉中目标区域定位与识别、视频信息中字幕和标识的自动提取与识别、医学图像分析等。人类的视觉系统(HVS)能够快速而准确地将注意力集中在图像、视频中少数几个显著的视觉对象上,这些对象被称为感兴趣区域(Region of Interesting,简称ROI),这个过程被称为视觉注意。这些区域往往具有与周围环境显著的亮度、纹理、颜色、形状和运动等差异的特性。基于此已经提出了较多的视觉注意模型,最具代表性的如Itti和Koch提出的ROI提取算法。该算法首先对图像提取亮度、颜色和方向等特征变成特征图,然后对每个特征图用类似于感受野的“中心-环绕(Center-Surround)"机制,最后综合各特征融合得到图像的显著图。近年来,随着三维立体显示技术突飞猛进地发展,越来越多的3D元素融入到了日常生活之中。与以往2D平面的显示方式相比,立体显示技术往往能给观看者带来更高质量的视觉体验和栩栩如生的视觉感受,也因此备受人们喜爱。由于增加了深度信息,传统基于2D图像的感兴趣区域提取方法并不能非常好地预测立体视频中的显著区域。本文较深入地研究了人眼视觉注意机制,采用自底向上的方法,在结合传统2D和视频序列运动显著特征的基础上,综合考虑了立体视频的深度信息,将人类视觉系统对深度的感知特性引入到感兴趣区域提取当中,提出了一个立体视频的视觉注意模型。本文的另一个创新点是采用人工神经网络进行显著特征的融合。在以往的视觉注意模型中,常常将提取的显著性特征做简单地线性组合得到最终的显著图,如此提取的ROI有时会和人眼真实注意的区域产生较大的偏差。本文通过网上提供的眼动仪数据以及自己实验标记得到的“真实数据”作为神经网络的输入样本,训练更加符合人类视觉系统的先验模型,更好地将诸多显著特征融合为最终的显著图。然后在显著图的基础上定位感兴趣区域,如此提取得到的区域在时间轴上存在位置和大小的跳动,本文采用卡尔曼滤波器在时间域上做优化,使得最终检测出的感兴趣区域能够精确而稳定地定位。实验结果表明,本文提出的立体视频视觉注意模型能够较好地预测立体视频图像中感兴趣区域,并能够使得提取的区域在时间域上稳定可靠。
其他文献
现有远程自动抄表系统很难继续维持在仅仅作为电量计量的服务水平上,理应利用自身优势特点成为一种为用电用户提供更多优质服务的通信系统。为了解决现有电力自动抄表系统中存在的抄通率低、升级维护复杂、线路专用、应答方式被动、适应性差等问题,为了共享光纤抄表线路给用电用户提供高带宽服务,为了通过用电用户采集终端实现多网的融合,新型远程自动抄表系统的研究和实现迫在眉睫。论文提出了一种新型的远程自动抄表融网系统,
调制方式是通信信号的一个重要特征属性,调制方式的自动识别在信号监视、电子对抗、干扰识别和频谱管理等军用和民用系统中是一核心技术。现有的调制识别方法主要集中在高斯
随着信息时代的高速发展,信息产业的蓬勃兴起,人们的生活、工作都越来越多的与社会网络密不可分,社会网络成为了人们赖以生存的工具之一。它不仅包含丰富的个人信息,同时还蕴藏着
摘要:数字签名技术是网络信息安全的重要手段之一,群签名是一种特殊的数字签名,并具有额外的安全属性。然而随着电子商务、电子政务的飞速发展,对群签名提出了许多特殊的要求,
摘要:近年来,无线定位技术在应急通信、公共安全、资讯服务、导航追踪等领域取得了长足的发展,但大多数定位解决方案都是基于卫星的室外定位。因为室内环境下接收不到卫星信号
随着互联网技术的发展和医疗信息化的推进,跨医院的医疗信息数据共享逐渐形成,数据规模庞大、来源多样化所带来的网络安全问题及支付安全等问题愈发凸显。本文针对目前医院网
近年来以WLAN和3G为代表的无线网络技术及其应用都在飞速发展。然而WLAN和3G网络都具有各自的优势,同时也具有很强的互补性,两者的融合将为用户提供高速率、广覆盖的具有极高性
在公路养护中,路面裂缝是衡量公路质量最重要的一个指标,目前国内主要依靠人工来检测高速公路的路况,不仅会受到养护工主观意识的影响,而且还浪费了大量的人力资源,因此基于
随着移动通信技术的飞速发展和移动网络的快速演进,移动视频监控已经广泛应用于城市交通、家居安防等领域。基于移动性的优势,移动视频监控还可以应用在应急指挥、救灾抢险等对
针对频偏估计问题,本文从理论和仿真实验的角度对TD-SCDMA系统基于Midamble码的频偏估计算法、OFDM系统基于PN序列和基于循环前缀的频偏估计算法进行了研究。首先研究了频偏产