面向全景应用的图像和视频压缩算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:haofei88
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体技术的高速发展,全景应用逐渐吸引了人们的广泛关注。区别于传统的二维(two dimension, 2D)应用,全景应用可以为用户立体的呈现完整的场景信息,并且,给予了用户在全场景范围内任意选择视点观看的自由,实现了用户与场景的自然交互。然而,全景应用在实现全场景的观看体验的同时也给数据的存储、编码、传输带来了巨大的压力。在此背景下,研究人员根据全景应用的实际需求,设计了球形全景应用系统和对象全景应用系统。在实际应用中,两套全景系统有效的减少了全景应用中需要传输的数据量,然而,却引入了全景图像和立体视频这两种新数据格式。针对新的数据格式,设计高效的编解码方案以充分提升全景应用的性能也随之具有了重要的研究意义。因此,本文从以下三个方面对全景应用系统中全景图像和立体视频的压缩方法展开研究:球形全景系统中的全景图像编码;对象全景系统中的立体视频编码;全景系统中的低复杂度编码。
  首先,为实现球形全景系统中全景图像的高效编码,本文从全景图像自身的性质入手,提出了一个基于密集连接网络的压缩自编码器,实现了全景图像端到端的编码压缩。在提出的自编码器中,本文专门设计了密集连接网络块,实现了全景图像的特征提取、特征复用、特征冗余削减等功能,充分提升了全景图像的压缩性能。并在此基础上,结合全景图像在投影中像素点具有位置独立的权重的特征,设计了带权损失函数,为每一个像素点指定了权重项,确保了压缩自编码器可以切合全景图像的投影特性,针对性的优化网络参数。最后,结合设计的压缩自编码器结构对称的特性设计了贪婪的分块训练方法,实现了压缩自编码器网络的快速训练,避免了梯度消失的问题,提升了网络的整体性能。
  其次,本文研究了对象全景系统中立体视频的高效编码。考虑到在对象全景应用系统中,立体视频的编码传输不仅需要保证本身视频的质量,还应当确保在用户端可以高质量的生成任意视点的虚拟视频。因此,本文从虚拟视点视频的结构相似性度量(structural similarity index measurement, SSIM)质量入手,逐步推导出了对象全景系统中立体视频失真与虚拟视点视频失真之间的数学关系,建立起了完整的虚拟视点视频失真模型,实现了虚拟视频质量指导的立体视频内部纹理视频分量和深度视频分量间的码率分配,提升了立体视频的编码性能。随后,本文针对已分配好码率的深度视频,设计了使用虚拟视点质量衡量参考深度视频质量的方法,并在此基础上,对深度视频块进行了自适应的分类,建立了深度视频块的码率-失真(rate-distortion, R-D)模型和码率-量化(rate-quantization, R-Q)模型,实现了深度视频分量的块级码率分配。进一步的,利用建立好的模型,本文设计了立体视频的率失真优化(rate distortion optimization, RDO)算法,提升了对象全景系统中立体视频的整体编码效率。
  然后,本文考虑到各类采集设备在计算资源和能源上的局限性,设计了低复杂、低能耗的编码器,以满足这些设备的实际工况。具体而言,本文结合全景系统中图像和视频数据的特征,在压缩感知理论的基础上自行设计了一套完整的的编解码方案。该方案不仅可以实现全景应用的图像和视频数据的高质量压缩编码,还具有低复杂、低能耗的特点,能够充分满足采集设备的实际需求。同时,本文为搭建好的全景系统的低复杂度编解码器专门设计了基于局部熵最小化的自适应小波分解算法和基于块平均值的运动估计算法。前者可以在无损降低图像和视频块局部信息量的同时,分离出块的高低频分量,为后续结合块特性的差异化量化和采样奠定了基础。后者则在复杂度和性能间取得了平衡,实现了快速的运动估计,降低了立体视频帧间的时域冗余。针对设计的编码器,本文还探索了量化参数(quantization parameter, QP)和测量率对编码码率和编码失真的影响,并在此基础上建立了QP和测量率的联合优化算法,实现了图像和视频的块级码率分配,让有限的码率可以依据不同块的特性得到合理分配,进一步的提升了编码器的性能,实现了全景系统中图像和视频的高质量、低复杂度编码。
  最后,本文对以上研究内容和创新点进行了归纳和总结,并对全景技术的发展趋势和未来研究方向进行了展望。作为面向全景应用的图像和视频压缩算法的研究,本文为全景应用中实际使用到的全景图像和立体视频的压缩编码提供了新的研究思路、解决办法和发展方向。
其他文献
在过去的几十年间,卫星通信凭借着覆盖范围广、不受地理条件限制、可靠稳定等优点,成为陆地移动通信后的研究热点。但是随着数据传输需求的不断增长,如何进一步提高卫星通信的传输速率已经成为现阶段的研究重点。由于多输入多输出系统技术(Multiple Input Multiple Output,MIMO)在陆地端的显著成功,越来越多的学者致力于卫星MIMO系统的研究。
  卫星通信中直射分量占有极大的比重,且卫星周围的散射体极少,导致卫星MIMO信道之间相关性很强。现阶段成熟的卫星MIMO技术主要有单星极化M
古籍善本的收藏与其他收藏品的不同之处在于其文献价值,古籍的价值亦主要在阅读和使用中体现,并已形成了独立的收藏圈,甚至成为收藏市场的—只“蓝筹股”。  近日,国内各大拍卖机构再度迎来了年末秋拍,其中不乏名目众多的古籍藏品。在国内艺术品拍卖市场整体表现略显冷清的情形下,古籍善本却以其丰富的文化内涵和独特的历史价值在市场上呈稳健上扬趋势。  而在早几年前,古籍市场未被市场所认同,通过近两年新生买家不断地
期刊
随着信息化时代的发展,室内定位技术的应用越来越广泛,尤其是在医疗监护、灾难救援方面,对定位服务的精度要求越来越高。现有的WiFi室内定位技术中主要采用接收信号强度指示(RSSI)作为测量指标,但由于WiFi信号的强度容易受到复杂室内环境影响,测量精度通常不高,继而定位精度受限。相比之下,信道状态信息(ChannelStateInformation,简称CSI)的测量精度会更高,而且有严格的信号模型作为支撑,因而具有实现高定位精度的潜力。然而目前基于信道状态信息的室内定位系统中,比如著名的SpotFi定位系
老人们在手机上下滑动之间获得快感,通过短视频,有人打开了自己的世界,有人实现了买卖自由,有人缓解了对远方亲人的想念,还有人用它填满孤独的大把时间。   某种意义上,是短视频替儿女照顾了他们的晚年,也见证和抚慰了这些可怜的灵魂——他们付出自己的时间,集体走进了一个由算法推荐营造的世界。退休老干部,每天抱着手机十小时   “别看手机了,赶紧遛狗去!”   早上七点多,老白还在被子里津津有味地刷着
期刊
上名校到底有多大的回报?   经济学家把教育对收入产生的因果效应称为教育的回报。这个概念强调,教育是一项人力资本投资,它能为投资者取得一份与金融投资相似的货币收益。但由于教育与诸多其他不可观察的因素混杂在一起对收入起作用,所以,对教育的回报进行准确的估计,一直是一代又一代经济学家们努力的目标。   芝加哥大学的著名经济学家雅各布·明塞尔在20世纪70年代是第一个使用回归方法对教育回报问题进行定
期刊
尽管北半球已经进入日照稀薄、温度降低的冬季,高球爱好者们依然有办法去找一个温暖的地方继续挥杆。四季花开的普吉岛、天空湛蓝的澳大利亚、充满野趣的南非国家公园、还有印度洋明珠毛里求斯……  南非——野味高尔夫  有一张流传广泛的照片:一个人在果岭推杆,不远处站着两只悠然自得的长颈鹿。如果在南非打球,野生动物随时都可能跑来当观众,有球手亲眼见到两只猎豹将捕获的羚羊拖过果岭带进树林,大家目瞪口呆地等候这一
期刊
随着万物互联时代的到来,越来越多的智能家居、电子产品进入人们的视线。家庭、企业以及密集区域所有事物的数字化驱动WiFi技术不断创新以满足不断增长的客户需求。2019年3月,IEEE标准协会对下一代WLAN标准EHT(Extremely High Throughput)工作组的文件审核立项,定名802.11be。为了获得更高的吞吐率和更低的延迟,启用6GHz频段将是802.11be的重大改进。本文从802.11be标准的研究现况出发,在6GHz频段与2.4G/5.8G频段进行多频段协作通信的层面对MAC协议
我国有4000万失能、半失能老人,“一人失能,全家失衡”,送往机构养老就成了最好的选择。而另外一个数字是,现有养老护理员仅50多万,存在着巨大的缺口。   在养老院里,护理员们守護着长者最后一程,也看到了自己的人生。老小孩   人到了85岁,不,还得再年轻些,80岁,会是什么样子?   饭菜一定是软软烂烂的,有些老人鼻子里会有一根细细的导管连入食道,人工慢慢推压打成碎末的流食滑入胃部;皮肤像
期刊
基于交错正交幅度调制的滤波器组多载波(Filter Bank Multicarrier with Offset Quadrature Amplitude Modulation,FBMC-OQAM)调制方案是下一代移动通信的热门多载波调制方案,它相对于5G标准使用的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM)方案具有带外能量泄露低、适应时频偏差能力强、频谱利用率高的技术优点。但是,它们都具有峰值平均功率比(Peak to Average Po
随着大量智能设备(如智能手机、平板电脑、便携电脑)和海量物联网的快速普及,以及各类新业务和应用场景的蓬勃发展,无线移动设备的流量需求极速攀升。海量流量需求在第五代移动通信系统(the fifth generation, 5G)中通过应用大规模天线、毫米波和超密集异构网络等技术提高网络容量来得到解决。然而,在5G通信系统中无线信道特征将表现出不可忽视的空间差异性。同时,由于用户密度增加导致用户之间无线传输环境有部分重叠,使得相邻用户无线信道的空间相关性增强。无线多接入信道空间相关性表现为基站不同方向上无线信