论文部分内容阅读
多媒体显示设备的多样性及其大范围的尺寸变化,这使得图像、视频等源信息的适配问题成为研究热点。感知适配方法不仅能够缩放源信息到目标尺寸,同时尽可能多地保留了源信息中的重要内容及整体结构。本文在国家自然科学基金项目“融合三维统计形变结构的光学分子断层成像稀疏重建方法(编号:61372046)”和陕西省自然科学基础研究计划项目“内容感知图像显示适配方法研究(编号:2014JM8346)”的资助下,深入研究分析了图像、视频适配问题的研究现状。在此基础上,综合运用深度信息、离散型、连续型和混合型等处理方法,对二维图像和三维视频的感知适配问题进行研究。本文的主要工作如下:(1)提出联合颜色深度信息的重要度图及其提取算法。深度信息来源于RGB-D相机,反映了场景中物体的远近信息。对原始深度信息采用形态学腐蚀、反转、Mean-shift过程以及高斯加权操作得到深度图;联合深度图、显著度图和梯度图提取出更加精确的重要度图,用其指导显示适配算法使得算法性能得到大幅度提高。同时,为进一步证明深度信息的有效性,将联合算法应用于立体图像中同样也得到了相似的结论。(2)提出一种改进线裁剪(Improved Seam Carving, ISC)的图像感知适配算法。利用梯度能量的方向性改进原线裁剪算法的能量图;在能量图上应用门限技术得到二进制图用于检测最优像素线上的像素点,基于二进制图标注了最优线中的不可删除点;使用低通滤波器合并相邻像素线实现了图像下采样;通过启用停止机制,在新像素线引入视觉扭曲前及时停止线裁剪操作转向其它适配方法。实验结果表明ISC算法不仅具有较好的适配效果,而且克服了各种线裁剪算法的扭曲、过度删除等缺点。(3)提出网格线正交移动(Othogonal Movement of Gridlines, OMG)的图像感知适配算法。首先采用改进的Achanta方法提取出源图像中的主体目标,联合梯度图和显著度图识别出源图像的重要区域;其次,计算最优网格线位移,利用网格线正交移动不仅保持了重要区域尺寸不变而且保护了主体目标的纵横比例;再次,使用下限和上限抑制由于过度缩小和放大网格造成的失真;最后,为使重要区域在输出结果中占据较大的比例,引入一个边缘网格节舍弃过程,即可指派更多空间到重要区域以减少适配畸变。实验结果表明,OMG算法的缩放结果具有更少扭曲,并在保留图像中的重要区域和主体目标上明显优于对比算法。(4)提出基于快速线裁剪(Quick Seam Carving, QSC)的视频感知适配算法。源视频经视频分析之后,估计出连续帧之间的摄像机运动参数,根据运动参数对源视频进行背景图像构建及前景目标分割;复制前景目标像素到背景图像中形成帧聚集图;应用扩展线裁剪(Expended Seam Carving, ESC)算法计算最优像素线,通过相关准则识别出鲁棒像素线;利用摄像机运动逆参数将鲁棒像素线逆映射回各个视频帧中进一步处理即可实现视频感知适配。实验结果表明QSC算法能够较好地适配视频,极大地降低了以往视频适配策略高的时间和空间复杂度。(5)提出一种扩展线裁剪(ESC)的图像感知适配算法。利用边缘检测及霍夫变换提取出源图像中的直线像素图;基于原始的线裁剪算法检测每次迭代中产生的最优像素线是否与直线存在交点,若无交点,则进入下一次的迭代;若存在交点,则在补偿能量图中的交点邻域增加能量值,更新补偿能量图;将补偿能量图附加到重要度图,进一步更新重要度图,这样就降低了下次迭代中产生的像素线与本次迭代中产生的像素线以交点相邻方式穿过直线的可能性。实验结果表明ESC算法不仅能产生足够数量的像素线,而且使得适配扭曲在可接受范围,成功地将图像线裁剪算法推广到视频处理中。