论文部分内容阅读
随着科学技术的发展和时代的进步,传统的二维视频显示已经无法满足人们日渐增长的需要。与此同时,能够提供更加全面、多角度信息的三维视频显示技术走入大众视野,受到了人们的广泛关注,以三维的方式进行视频信息的获取、记录与显示已成为当今时代显示技术发展的必然趋势。随着三维显示技术的飞速发展,其在人们生活和工作中所占的比重越来越大,直播也将是三维显示技术的重要应用场景之一。与传统的二维视频相比,三维视频具有更加庞大的原始数据量,若不对其进行压缩,有限的带宽以及储存空间将难以支持其顺利传输。本文针对密集视点三维光场视频直播系统的关键技术难点,进行研究,设计实现采集、编码、传输、播放等系统的各个关键节点,搭建了完整的密集视点三维光场视频直播系统,并且进行真实人体的直播验证,可以对近8K分辩率的三维光场视频进行直播显示,并且具有良好观感。论文的主要工作和成果如下:1、实现了密集视点光场编码方法。本系统针对三维光场视频的压缩编码技术进行了相关的研究,提出了 HEVC-8K的可行性编码方案,以实现采集平台对采集到的密集视点视频图像进行压缩编码。基于HEVC-8K编码多视点视频的低分辨率问题,对多视点图像合成的高分辨率三维光场图像进行压缩编码,并结合多视点三维光场视频的编码特性,提出了一种单通道分离编码方法,此方法可以避免多视点视频编码产生的串扰现象,提升视觉观感。由于此方法对原始的视频图像分辨率扩大了两倍,因此本文提出使用基于深度学习的编码方法对超高分辨率的图像进行编解码,取得良好效果。2、实现了密集视点三维光场采集直播系统完整的研究搭建。基于系统采集的多视点图像,提出了基于多视点图像的分块图像校准校正方法。设计并搭建了系统的采集平台。对RTMP协议进行了搭建,并对其进行扩展,以实现HEVC编码格式的视频数据的推流传输。系统也搭建了基于GPU的拉流播放器,实现对推流传输的视频进行拉流播放。最终完整的搭建了密集视点三维光场视频直播系统,进行直播验证,可以传输近8K的产分辨率视频,并在团队自主研发的三维光场显示器上播放。