全景视频的视口预测及人物检测研究

来源 :深圳大学 | 被引量 : 0次 | 上传用户:lgfgdf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
全景视频作为一种新颖的视频格式受到了人们的广泛关注,而虚拟现实游戏的热潮进一步促进了全景视频的发展。全景视频提供观看者沉浸的视频体验,视频的内容呈现于立体球面。本文主要研究全景视频视口预测和全景视频人物检测两方面内容。全景视频的视口预测具有重要的研究意义。在传统的视频传输过程中,视频服务器发送完整的视频数据到接收端。然而,观看者仅对视口内的图像可见,视口外的视频内容浪费了大量的传输带宽。因此,视口自适应的全景视频传输方式受到了广泛的关注,其只传输观看者视口内的视频内容,从而节省了大量的传输带宽。目前,现有的视口预测方法主要依赖历史的视口轨迹进行视口预测,忽略了图像内容对视口的影响。另外,现有的一些视口预测方法利用卷积神经网络来提取图像特征,然而该网络并不适应球面表示的全景视频。基于以上背景,本文提出了两种视口预测的方法。本文首先提出基于物体跟踪的视口预测方法。该方法的设计主要基于以下两方面因素:观看者的历史视口轨迹与未来的视口轨迹具有较强的相关性;基于视口数据集分析,我们发现观看者倾向于持续跟踪全景视频中其感兴趣的前景物体。因此,本文结合历史轨迹和物体跟踪信息预测视口轨迹。实验结果表明,对比基于线性回归的视口预测模型,该方法的视口预测性能提升33.5%。针对以上视口预测方法进行改进,本文提出基于球面注意力的全景视口预测方法。除视口历史轨迹和物体跟踪因素外,改进方法的设计也注意到以下因素:显著性检测可以车较好的表征视频的内容;观看者的视口轨迹与视频内前景物体的运动具有高度的相关性。基于以上因素,我们提出了球面注意力图,其由物体跟踪、显著性检测和前向中心偏置构成。实验结果表明,对比最新的视口预测方法,该方法的性能提升7%。除全景视频视口预测之外,本文还对全景视频的人物检测进行研究。其难点在于二维矩形表示的全景图像存在内容失真和图像边界问题。本文利用全景视频的球面特性,首先基于三维欧拉旋转将全景图像分割为多个球面子图,然后再对这些子图中的人物进行检测,最后对这些检测结果进行后处理。该方法具有以下优势:减缓图像失真的问题;避免由图像边界引起的不连续问题;能与其他的人物检测方法结合,从而提高全景视频人物检测的性能。实验结果表明,对比直接检测平面全景视频方法,该方法性能提升35%至48.6%。
其他文献
城市热岛效应与建筑耗能是科学界持续关注的问题。由于城市人口急剧扩张,密集的建筑布局严重影响城市微环境,通过对建筑物局部温度增量的控制对于城市热岛效应有积极作用。就建筑围护结构响应太阳辐射的反射率而言,其数值的增减影响建筑物围护结构的表面温度,相关研究表明,从能耗角度当温度每降低2-3摄氏度,空调能耗能量明显减少,能有效节约城市夏季10%-15%的电能,并有效减少二氧化碳排放量,从应用上缓解城市热岛
近年来,由于我国社会老龄化现象日益严峻,CHARLS提出了“健康老龄化”的社会发展目标。截至2019年,我国非失能老年人占总老龄人口81.8%,失能老年人占比18.2%。老年人一旦失能,需要专业的医疗护理,因为子女不能提供专业的医疗照护,失能老年人多为选择养老机构或者医疗机构照护,为家庭带来经济负担的同时也会为社会养老问题带来巨大压力。因此,为减轻社会和家庭的负担,稳定并提升81.8%占比的非失能
随着国民经济发展和夜间社会活动的增加,夜间人工光不合理使用而带来的光污染现象越来越严重。量化光污染可以用于指导人工光的合理设计与应用,从而从源头上降低光污染。传统的光污染量化大多集中在亮度和照度层面,未考虑光源色度学指标对光污染程度的影响。然而实际中光污染的程度不仅取决于光源亮度,还受光源光谱等多个因素影响。传统的研究利用遥感信息,航拍等光污染测量方法。本研究以生态、节能为出发点。根据高层建筑周边
随着科技的高速发展,金融科技企业在我国金融行业中蓬勃发展。我国金融科技标准体系与监管体系仍存在不足,其所带来的诸多风险也给我国金融市场的秩序稳定带来了挑战。本文通过对网络上出现频率较高的各类风险进行汇总及分析,基于此总结出金融科技企业监管及标准化机制可能存在的问题,进行针对性分析并提出相应的对策建议。
基于我国城市土地资源越来越紧缺的发展趋势,国内高校的开发强度逐步提高。高密度校园中也开始出现以空中步廊系统设计为导向的校园规划策略。但由于高校空中步廊系统设计理论尚不成熟,大部分高校的空中步廊系统不成体系,使用率较低,大多未达到设计预期。香港与深圳作为国内典型的高密度城市,在高密度校园的空中步廊建设上具有一定的实践经验。本文通过对深港两地现有高密度校园的空中步廊系统进行调研分析,将筛选的重点案例按
学位
纤细裸藻(Euglena gracilis)富含副淀粉,是一种新型的保健食品。副淀粉具有降低胆固醇、降低血糖、抗病原微生物、抗肿瘤、保护肝脏和免疫调节等多种生物活性,有望开发成营养保健品或免疫佐剂。然而副淀粉的免疫调节机制尚未明确,极大地制约了副淀粉的开发应用。本论文以超声和碱化的方法制备裸藻副淀粉,探究其对RAW264.7巨噬细胞的免疫激活效果及机制,主要内容及结构如下:(1)优化了裸藻副淀粉的
拓展金融科技应用,应当树立以人民为中心的发展理念,坚持以人为本,不能本末倒置,舍本逐末。要注重用户体验,体现人文关怀,营造友好、安全的服务环境。同时,金融科技本质上是一种技术驱动的金融创新活动。无论叫金融科技还是科技金融,始终不能忘记金融属性,不能违背金融运行的基本规律,否则必然会受到市场的惩罚。
期刊
首先以盐酸分解磷矿制备酸解液,再通过向酸解液中加入硫酸制备硫酸钙晶须。实验考察了加料时间、搅拌转速、硫酸浓度、硫酸根与钙离子物质的量比、氧化钙质量分数、反应温度对硫酸钙形貌及晶须长径比的影响。采用扫描电镜观察硫酸钙形貌并用Image-Pro-Plus对硫酸钙SEM图进行分析得到硫酸钙晶须的平均长径比。实验得到硫酸钙晶须的最佳制备工艺条件是:加料时间为20 min、搅拌转速为350 r/min、硫酸