论文部分内容阅读
进入21世纪,虚拟现实技术获得了长足的发展,如今一些全景视频的出现,结合3D立体技术的发展,掀起了开发虚拟现实的热潮。全景技术在当今社会也取得了越来越广泛的应用,包括网络直播、虚拟现实以及全景地图等。在单视点平面视频的观看需求被满足之后,人们越来越希望能够在网络上看到多视点并富有立体感的视频,以获得更加逼真的视觉享受。基于网络的全景视频直播已经成为人类视觉研究的一个重要的发展方向。本文设计并实现了基于环形360度全景视频的网络直播系统,相对于传统的单视点网络直播,本系统通过获取水平方向多个视点视频并处理得到环形360度全景视频,继而对其进行实时编码压缩并传输给远程用户终端。本文的主要工作包括以下三个方面:1)全景视频的采集和制作。本系统采用6个小蚁相机作为直播的视频采集源,首先对摄像机进行参数的设定,包括位置、焦距、分辨率、白平衡、曝光率等,然后结合相应参数进行图像拼接得到360度全景视频。考虑到直播系统对实时性要求较高,本文采用改进后的SURF算法进特征点提取和匹配,并采用多线程处理多视点图像拼接和融合,从而加快全景图像获取速度。2)全景视频的实时网络传输。首先对获取的全景视频和音频进行编码,由于全景视频数据量较大,本文采用H.264编码标准编码对原始全景视频和音频,并对音视频进行同步;其次,设计合理的网络直播架构,本系统采用传统C/S模式进行网络传输和视频分发,通过搭建Nginx流媒体服务器接收采集端发送的实时视频并转发给用户终端。3)全景视频的终端接收、展示及交互。此过程通过网络传输协议接收服务器端的直播流,采用设备3Glasses来展示全景视频,3Glasses头盔设备内置了九轴传感器和AMOLED屏,增强了用户交互性,特别适合展示立体全景视频。本系统的关键是多个视点视频的特征点匹配以及拼接融合得到相应的水平360度全景视频,此过程对处理速度要求较高,并且对拼接效果有一定的要求。经过系统测试,在现有网络带宽直播系统延时较低,能够满足实时性要求,并且全景画面衔接自然,给用户终端沉浸感和交互性,在虚拟视觉领域具有较高的科研和应用价值。