基于全景视频的自由视点漫游系统设计与实现

来源 :四川大学 | 被引量 : 0次 | 上传用户:lemon616
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
全景视频作为一种新兴的媒体输入形式,因具备高自由度,高沉浸感等特点被广泛应用于场景漫游系统中。然而,利用全景视频仅能够在固定路径上观看360°的场景信息,无法从任意视点观看场景,从而无法实现真正的场景自由漫游。为实现场景的自由漫游,通常采用基于深度图像的绘制技术(Depth-Image-Based Rendering,DIBR),利用已知的图像信息与深度信息合成场景中任意视点的图像。然而,在DIBR中存在裂纹、重叠、空洞、伪影以及效率等问题,影响着合成图像的质量以及计算效率。针对上述问题,本文以立方体全景视频及其对应深度作为输入,设计并实现了一个高质量可交互的自由视点漫游系统。一方面,为了提高合成图像的质量与计算效率,本文提出了基于深度信息辅助的迭代式逆向映射视图合成算法,能够利用并行计算框架,实时合成高质量的虚拟视图。另一方面,由于解码全景视频存在较大的性能开销,为了保证系统的实时运行效率,本文提出了基于深度的不可见信息剔除策略,能够减少需要解码的视频内容,并减少本文视图合成算法的计算开销。具体而言,本文的主要工作包括:·首先,本文提出了基于深度信息辅助的迭代式逆向映射视图合成算法。该算法将不动点迭代思想应用于二维图像上,利用像素的移动向量,构建参考视图与虚拟视图中像素的逆向映射关系,可以对虚拟视图中的每个像素进行并行的迭代计算。为了加快迭代计算的收敛速度,本文利用正向映射得到的虚拟视点深度信息,逆向映射到参考视图上,得到迭代初始点的位置,能够利用较少的初始点有效解决虚拟视图中存在的重叠与裂纹问题,快速合成高质量的虚拟视图。此外,本文还利用视图后处理算法,包括基于空洞边缘扩充的伪影去除算法以及基于深度与移动向量引导的空洞修复算法处理虚拟视图中存在的伪影与空洞问题,进一步提升了虚拟视图的质量。·其次,本文提出了基于深度的不可见信息剔除策略。该策略将立方体全景视频的每个面进一步划分成更小分辨率的Tile视频,并利用预计算方式得到Tile视频每一帧对应的最大深度与最小深度信息。在系统实时运行过程中,通过最大深度与最小深度可以快速构建Tile视图所含场景信息的视锥体包围盒。之后利用基于特征点的计算方式,快速判断视锥体包围盒对于虚拟视点的可见性,从而剔除全景视频中无需解码的Tile视频。该策略能够减少需要解码的视频内容,提升系统的解码效率,同时也能够降低本文视图合成算法的计算量,从而提升系统的整体运行效率。·最后,设计并实现了基于全景视频的自由视点漫游系统。本文系统利用FFmpeg与Cuda构建多线程实时视频硬解码框架,能够快速解码出所需的参考视图。同时利用Open GL实现了本文视图合成算法以及视图后处理算法,能够实时合成并显示对应的虚拟视图。此外,本文系统还为用户提供了实时系统交互功能,包括视点位置的变换与视角的任意旋转,允许用户实时的自由漫游场景,极大的提升了用户的交互体验。实验结果表明,基于深度信息辅助的迭代式逆向映射视图合成算法能够获得较高质量的虚拟视图,并且具有较高的计算效率。同时,本文提出的基于深度信息的不可见信息剔除策略能够有效的减少视频解码以及视图合成算法的时间开销,提升系统的整体运行效率。本文系统整体运行效率在60FPS以上,能够保证用户实时自由漫游场景。
其他文献
染色体图像分类,是临床上进行染色体分析的关键步骤之一,在遗传疾病的诊断和肿瘤学研究中具有重要意义。得益于计算机技术的发展和进步,使用计算机进行自动化的染色体分类,成为了近年来的热门研究。染色体是非刚性物体,容易发生弯曲,弯曲的染色体会影响网络的精确率,需要对弯曲的染色体进行矫直。现有的染色体矫直方法主要分为切割矫直法和骨骼关联矫直法,这两种方法存在一些局限性:切割矫直法,通过切割图片矫直染色体,会
随着网络的普及以及大规模食物数据的涌现,为了有效获得所需的食物信息,食物计算领域的跨模态菜谱检索得到了广泛关注。跨模态菜谱检索是食物图像和菜谱之间的相互检索,跨模态菜谱检索的难点在于食物图像和菜谱之间的关系极为复杂:有较多的食物图像外观相似且部分图像存在着干扰信息;在烹饪过程中有的食物配料变得不可见或者配料外形会发生变化;烹饪指示中暗含着配料与食物成品图像的某种关系。现有研究方法存在的问题:1.由
三维探测技术具有广泛的应用价值,在地形获取、自主定位、实景模拟、工业生产等诸多领域具有重要的推广及理论研究意义。作为三维探测技术驱动核心的场景深度信息获取是计算机视觉领域的热门研究课题之一,近年来受到了研究人员的广泛关注。传统深度信息获取方法大多采用基于多视图的双目立体匹配或从运动恢复结构的方式,对输入图像及相机拍摄参数的限制要求较多,提高了深度信息获取的门槛。因此,采用更少场景图像输入、对相机硬
红外成像仿真技术能够有效克服时间、环境、地域的限制获取不同环境条件下的红外图像,传统基于场景建模的仿真方法存在建模复杂度高、建模时间长等缺点,随着增强现实技术的发展,在真实场景中加入虚拟仿真物体能够避免大范围的场景建模工作,方便快捷地生成红外仿真图像。为保证仿真图像的视觉效果更加逼真,需要重点解决虚实融合的辐射一致性问题,即虚拟景物和真实背景应具有一致的红外辐射。在真实环境中,探测器接收到的辐射值
互联网发展日新月异,在改变人们生活娱乐方式的同时,也拓宽了社交渠道。交流分享不再受到距离限制,但问题亦接踵而至,攻击性言论犹如附骨之疽充斥在网络世界中,破坏着绿色文明的网络交流环境。攻击性言论是针对特定个人、群体进行言语攻击或能引起观者不适的文字内容,常见于各种社交媒体平台。准确的自动化检测工具能有效遏制攻击性言论的泛滥,故研究聚焦于使用机器学习方法检测识别攻击性言论。攻击性言论相关子任务包括了检
随着知识图谱技术的发展与成熟,其作为一个结构化的知识库被应用到各个领域,尤其是在基于知识库的问答领域。知识库问答是其接受一个自然语言式的问句并经过语义理解后结合知识库返回答案,不同于传统基于关键字的检索式问答,知识库问答直接给出精准答案,不需要用户进行二次查找或推理,使答案获取方式更加简单高效。然而,目前知识库问答的整体准确率不高,其主要原因包括两点:实体名拼写不规范、问句上下文信息不足和知识库中
面部表情是一个人表达情绪最直接的形式之一。由于人机交互的发展,许多领域开始关注人脸表情识别。近几年深度学习方法显著提升了人脸表情识别准确率,但在实际应用中仍存在一些问题:首先,深度学习需要大量训练数据,但现有人脸表情数据库不足以训练出在实际应用中能产生可靠结果的深度神经网络;此外,不同个体的差异,如表达情绪的方式和表情强度的差异,也会给人脸表情识别带来挑战。现有大多数表情识别方法一般将表情分为离散
在教育领域,“个性化学习”一直是经久不衰的话题。受限于技术水平和师资力量,其一直未能在实践中得到广泛应用。近年来,快速发展的人工智能和互联网技术重塑了个性化学习,为其在实践中的广泛应用创造了契机。领域知识模型和用户特征模型是个性化学习的两个重要根基。在实践中,通常使用知识图谱来构建领域知识模型。实体识别是构建知识图谱的第一步。在教育领域,实体识别也被称为“知识元抽取”。在已有研究基础上,本文重点对
白内障是当今发病率和失明率最高的眼科疾病之一。对预防失明来说,在早期及时发现并准确诊断出白内障尤为重要。临床白内障诊断往往需要眼科医生专业的知识和丰富的经验,但贫困和边远地区的白内障患者通常因为缺少专门的眼科医生而错失了诊治的机会。深度学习技术发展至今,在许多图像分类任务中都得到了广泛而成功的应用,然而,在白内障的自动检测任务中仍然存在着巨大的挑战。这是由于白内障及眼部B超图像的两个特点:首先,白
作为日常生活中最常看到的自然景色之一,树木模型广泛出现在影视、游戏、航空、军事等领域,是计算机图形学中真实建模领域的重要研究课题。但树木本身具有很高的复杂度,使得通过人工方法进行树木三维建模的工作非常繁琐。同时,属于同一科目的树木在形态上具有高相似性但又略有不同,如果通过人工手段对由同一科目的树木组成的森林进行建模,其工作量将会成倍增长。为了实现高效率的树木建模,近年来研究者们提出了基于植物生长模