论文部分内容阅读
近年来,随着虚拟现实技术的不断发展以及相关设备可用性的提高,沉浸式媒体日益得到越来越多的追捧与关注。3自由度加(Degree of Freedom Plus,DOF+)视频除了提供在三个旋转维度上的全角度视觉,还允许用户视点在前后、左右、上下三个方位进行小范围运动。在3DOF+中,渲染系统需要利用有限视点的全景视频信息来生成用户当前视点位置的视频内容。同时,处理与传输高分辨率、高码率的全景视频需要消耗大量的算力资源以及网络带宽资源。本文针对3DOF+渲染质量以及实际传输应用展开研究,提出了基于改进三角形插值的全景虚拟视点合成算法,提升了合成的虚拟视图的质量,并针对移动终端设备算力不足等问题,设计并搭建了一套实用的终端轻量化的基于云端渲染的3DOF+视频传输系统,在云上渲染,实现计算迁移,大大减少了数据传输。针对如何高质量地绘制全景视频的虚拟视图的问题,本文提出了基于改进三角形插值的全景虚拟视点合成算法。首先,对参考视图进行预处理以及边缘划分,标记边缘与非边缘部分。其次,在三角形映射的方法中,对于非边缘部分,考虑像素点的深度值、映射三角形的形状以及待插值点位于三角形内的位置等因素,进行加权插值计算。对于边缘部分,采用基于曼哈顿距离的最邻近插值的方法。最后经多视点融合与空洞填补,合成了用户新视点的虚拟视图。实验结果表明,该方案主、客观质量皆优于当前主流的全景视频虚拟视点合成算法,平均PSNR提升0.156d B。较好的3DOF+用户体验大多依赖于高性能设备做本地计算和渲染,目前移动终端的设备性能往往没有如此丰富的计算资源,本文针对这样的实际问题,设计并搭建了一套基于云端渲染的3DOF+视频传输系统。系统主要利用了云端强大的GPU算力资源,提升了系统的逻辑计算、图像处理和渲染能力,在服务器端实现了3DOF+视频的生成,渲染以及压缩编码等整套工作流程。客户端只需简单的解码和渲染视频。该方案突破了终端性能局限,弥补用户终端算力不足的缺点,实现了终端轻量化。同时,服务器只需传输用户可见视域的视频图像,大大减少了数据传输。实验结果表明,相比于传输完整多幅全景纹理图与深度图的方案,本系统降低了高达87.5%的带宽需求,并可为用户提供与视点位置相对应的3DOF+视频,从而显著提升了用户的交互感强,增强了用户的沉浸感和临场感。