基于云渲染的3DOF+视频传输技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:760904
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着虚拟现实技术的不断发展以及相关设备可用性的提高,沉浸式媒体日益得到越来越多的追捧与关注。3自由度加(Degree of Freedom Plus,DOF+)视频除了提供在三个旋转维度上的全角度视觉,还允许用户视点在前后、左右、上下三个方位进行小范围运动。在3DOF+中,渲染系统需要利用有限视点的全景视频信息来生成用户当前视点位置的视频内容。同时,处理与传输高分辨率、高码率的全景视频需要消耗大量的算力资源以及网络带宽资源。本文针对3DOF+渲染质量以及实际传输应用展开研究,提出了基于改进三角形插值的全景虚拟视点合成算法,提升了合成的虚拟视图的质量,并针对移动终端设备算力不足等问题,设计并搭建了一套实用的终端轻量化的基于云端渲染的3DOF+视频传输系统,在云上渲染,实现计算迁移,大大减少了数据传输。针对如何高质量地绘制全景视频的虚拟视图的问题,本文提出了基于改进三角形插值的全景虚拟视点合成算法。首先,对参考视图进行预处理以及边缘划分,标记边缘与非边缘部分。其次,在三角形映射的方法中,对于非边缘部分,考虑像素点的深度值、映射三角形的形状以及待插值点位于三角形内的位置等因素,进行加权插值计算。对于边缘部分,采用基于曼哈顿距离的最邻近插值的方法。最后经多视点融合与空洞填补,合成了用户新视点的虚拟视图。实验结果表明,该方案主、客观质量皆优于当前主流的全景视频虚拟视点合成算法,平均PSNR提升0.156d B。较好的3DOF+用户体验大多依赖于高性能设备做本地计算和渲染,目前移动终端的设备性能往往没有如此丰富的计算资源,本文针对这样的实际问题,设计并搭建了一套基于云端渲染的3DOF+视频传输系统。系统主要利用了云端强大的GPU算力资源,提升了系统的逻辑计算、图像处理和渲染能力,在服务器端实现了3DOF+视频的生成,渲染以及压缩编码等整套工作流程。客户端只需简单的解码和渲染视频。该方案突破了终端性能局限,弥补用户终端算力不足的缺点,实现了终端轻量化。同时,服务器只需传输用户可见视域的视频图像,大大减少了数据传输。实验结果表明,相比于传输完整多幅全景纹理图与深度图的方案,本系统降低了高达87.5%的带宽需求,并可为用户提供与视点位置相对应的3DOF+视频,从而显著提升了用户的交互感强,增强了用户的沉浸感和临场感。
其他文献
基于苏州"东方之门"大直径超长钻孔灌注桩承载力足尺试验结果,分析大直径超长钻孔灌注桩竖向极限承载力、桩端及桩身变性特性、桩侧阻力与桩端阻力变化规律。试验结果表明:大
光学成像技术带动了人类社会的变革,在生物、物理、化学、医学等各学科领域产生了深远影响。衍射现象作为光波的一个基本属性,它限制了光学成像系统的物理分辨率。突破传统衍
本文主要介绍了一种基于激光超声波的可视化成像方法,采用脉冲激光器在被测物表面进行动态扫描,激发出超声波信号,利用超声波成像技术将接收的超声波信号进行可视化成像处理,
绿水青山就是金山银山,环境作为人类赖以生存的根本,其重要性不明而喻。就生态资源丰富的湖北省而言,早在2012年就已确立生态立省的发展战略并颁布《生态省建设规划纲要》,地
州县官,即知州知县,为地方基层政权组织之正印官。所谓天下事莫不起于州县,州县官员的作为在一定程度上决定着整个国家的安定。本文主要以清代山西部分州县为例,借助方志、正
根据《中华人民共和国征收管理法》第三十五条的规定,税务机关在纳税人未按照规定的期限办理纳税义务的,税务机关可以核定其应纳税额。在认定纳税人的交易行为是否产生纳税义务时,税务机关主要从税收征管的角度看待纳税人之间的经济交易行为,而不局限于交易行为表面的法律形式。当事人之间的民事法律行为,在形式上虽然没有明显的违法行为,在后果上,如果这种民事行为对国家的财政利益造成了明显损害,税务机关有权力依照法定程
党的十八大以来,我国公共法律服务工作取得了显著成就,在推进法治国家、法治政府、法治社会一体化方面发挥了重要作用。"十四五"规划纲要指出:"建立健全基本公共服务标准体系
西大洋水库是河北省规模较大的综合利用型水库,位于白洋淀上游,是白洋淀重要的补水水库,水环境质量的优劣严重影响白洋淀水质状况。本研究选取西大洋水库某一库湾区,建立生态
年报是企业对于过去一年工作的回顾总结以及对下一年发展目标和策略的规划与展望。随着中外经济贸易交往日益密集,年报的翻译对于中外企业开展商业活动非常重要。年报属于客
新课改理念的提出为我国教育提出了新的教育方向,语文作为小学阶段的必修课之一应时刻以新课改的要求、学生的未来发展为教育核心,改变以往的教育理念与教育方式,从而在满足